Redes neurais, deep learning e processamento de linguagem natural

Do zero

Um neurônio artificial é uma balança de pesos. Ele recebe alguns números, multiplica cada um por um peso (quanto aquele número importa), soma tudo, acrescenta um ajuste fixo (o viés) e passa o resultado por uma função de ativação, que decide o quanto o neurônio “dispara”.

Uma rede neural é um conjunto desses neurônios em camadas: a de entrada recebe os dados, as ocultas transformam, e a de saída dá a resposta (“é nota fiscal”, “é contrato”). Treinar a rede é ajustar os pesos até ela errar pouco: a rede faz um palpite, mede o erro, descobre para que lado mexer cada peso e dá um pequeno passo nessa direção. Repete isso milhões de vezes.

Deep learning (aprendizado profundo) é usar redes com muitas camadas ocultas. Cada camada aprende algo um pouco mais abstrato: numa foto, a primeira percebe bordas, a seguinte formas, a seguinte objetos.

E o processamento de linguagem natural (PLN) é fazer o computador trabalhar com texto e fala humanos: classificar denúncias, achar nomes e CNPJs em contratos, traduzir, resumir, responder perguntas.

Frase para guardar: neurônio soma entradas com pesos e passa por uma ativação; treinar é ajustar pesos pelo erro (retropropagação); deep learning são muitas camadas; PLN é a máquina lidando com linguagem.

Em 1 minuto

• Treinamento: a função de perda mede o erro; a retropropagação (backpropagation) calcula, de trás para frente, quanto cada peso contribuiu para ele; o gradiente descendente ajusta os pesos em pequenos passos, controlados pela taxa de aprendizado. Uma passada por todos os dados de treino é uma época.
• Funções de ativação dão à rede a capacidade de aprender relações não lineares: ReLU (zero para negativos, o próprio valor para positivos), sigmoide (entre 0 e 1), tanh (entre −1 e 1) e softmax (na saída, transforma as notas em probabilidades de cada classe).
• Perceptron de uma camada só separa classes por uma reta e não resolve o OU exclusivo (XOR); a rede multicamada (MLP) resolve.
• Arquiteturas: CNN (convolucional, com filtros que deslizam sobre a imagem; visão computacional), RNN e LSTM (sequências, com memória do passo anterior) e Transformer (atenção sobre a sequência inteira, em paralelo; base dos LLMs).
• Problemas e remédios: overfitting (dropout, parada antecipada, mais dados) e desaparecimento do gradiente em redes profundas (ReLU, LSTM, conexões residuais).
• PLN clássico: tokenização, minúsculas, remoção de stopwords (de, a, o), stemming (cortar até um radical, que pode não ser palavra: “auditorias”, “auditor” → “audit”; o radical exato depende do algoritmo) ou lematização (forma de dicionário: “auditou” → “auditar”), bag-of-words e TF-IDF.
• PLN moderno: embeddings (palavras de sentido parecido ficam com vetores próximos) e modelos Transformer: os do tipo BERT (codificador, bons para entender e classificar) e os do tipo GPT (decodificador, bons para gerar texto).

Exemplo concreto: um neurônio e a triagem de denúncias

Um neurônio, com números. Entradas: 1 (a empresa tem menos de seis meses) e 0,5 (índice de preços acima da média). Pesos: 0,8 e −0,4. Viés: −0,2.

soma = 1 × 0,8 + 0,5 × (−0,4) + (−0,2) = 0,8 − 0,2 − 0,2 = 0,4
ReLU(0,4)     = 0,4      (positivo: passa igual)
sigmoide(0,4) ≈ 0,60     (lido como 60% de chance, se for a saída de uma classificação)

Treinar é descobrir os pesos e o viés que fazem a rede acertar nos casos já conhecidos e, principalmente, nos novos.

A triagem de denúncias da Ouvidoria. Chegam centenas de denúncias por mês, e cada uma precisa ir para a unidade certa: licitações, pessoal ou obras.

1. Pré-processamento: dividir em tokens, passar para minúsculas e tirar as stopwords.
2. Representação clássica, TF-IDF: cada palavra ganha um peso alto se aparece muito naquela denúncia e pouco nas demais. “Dispensa” e “pregão” pesam numa denúncia de licitação; “de” e “que” não pesam em nenhuma. Um classificador (como a regressão logística) aprende a separar os assuntos.
3. Representação moderna: um modelo Transformer do tipo BERT, já treinado em português, é ajustado com algumas centenas de denúncias rotuladas. Ele entende que “contratação sem concorrência” e “dispensa indevida” falam da mesma coisa, mesmo sem palavras em comum.
4. Extração de entidades (NER): de cada denúncia saem automaticamente o município, o CNPJ citado e as datas, que alimentam o painel da Ouvidoria.

Comparação: arquiteturas, ativações e técnicas de PLN

Como a FCC cobra

• Funções de ativação e o papel da não linearidade.
• Perceptron e o problema do XOR.
• Overfitting e dropout; desaparecimento do gradiente.
• Stemming × lematização; TF-IDF; embeddings; NER.
• BERT (entender) × GPT (gerar).

Pegadinhas

Explique com suas palavras

Explique a um gestor, sem fórmulas, como uma rede neural aprende a classificar denúncias por assunto, e o que o TF-IDF faz com as palavras.

1. Escreva sem olhar a lição, com frases curtas e um exemplo seu.
2. Onde travar ou precisar de jargão, há uma lacuna: releia só essa parte.
3. Compare com a explicação-modelo e reescreva o que faltou.

Sua explicação

Fica salva neste navegador.

Comparar com uma explicação-modelo

A rede começa chutando: para cada denúncia, dá um palpite de assunto. Como temos denúncias já classificadas por pessoas, dá para ver se ela errou e por quanto. Aí ela ajusta um pouquinho os seus “botões” internos, os pesos, na direção que diminui o erro. Depois de ver milhares de exemplos e fazer milhares de pequenos ajustes, ela passa a acertar também em denúncias que nunca viu.

O TF-IDF decide quais palavras importam numa denúncia. Uma palavra que aparece muito naquela denúncia, mas é rara nas outras, como “pregão”, recebe peso alto, porque diz algo específico. Palavras que aparecem em todas, como “de” e “que”, recebem peso quase zero, porque não ajudam a diferenciar um assunto do outro.

Teste-se

Mais duas questões deste tópico estão em Questões.

Flashcards gerados

Ligação com o estudo de caso

Num caso de automação da triagem de documentos ou denúncias, proponha o caminho em etapas: um modelo simples e explicável (TF-IDF com regressão logística) como ponto de partida, um modelo Transformer em português se o simples não bastar, extração de entidades (NER) para preencher os campos e medição com dados de teste (precisão e recall por assunto). Diga também como tratar os erros: os casos de baixa confiança vão para análise humana.

Fontes da lição

• Edital nº 01/2026, Anexo II, Inteligência Artificial, Ciência de Dados e Automação (fontes/edital-01-2026.txt).
• Ian Goodfellow, Yoshua Bengio e Aaron Courville, Deep Learning (neurônios, retropropagação, CNN e RNN).
• Daniel Jurafsky e James Martin, Speech and Language Processing (tokenização, TF-IDF, embeddings e NER).
• Ashish Vaswani e outros, “Attention Is All You Need” (2017), origem do Transformer.