Fine-tuning: quando ajustar o modelo compensa mais que ajustar o prompt

Fine-tuning é a ferramenta mais cara e mais mal utilizada em projetos de IA. Times partem para treinar um modelo quando o problema era prompt mal escrito ou contexto insuficiente — e outros evitam fine-tuning quando é exatamente isso que resolveria um comportamento que nenhum prompt consegue fixar de forma consistente. Saber quando usar cada técnica é mais valioso que dominar a matemática por trás delas.

Full Fine-tuning: poder total, custo total

Ajustar todos os parâmetros do modelo dá o maior controle sobre o comportamento final, mas exige memória de GPU proporcional ao tamanho do modelo inteiro e datasets maiores para não sobreajustar. Na prática, é reservado para quem tem infraestrutura dedicada e um caso de uso que realmente justifica o custo.

LoRA e QLoRA: a maior parte do ganho, uma fração do custo

LoRA (Low-Rank Adaptation) treina apenas matrizes de baixa dimensão inseridas nas camadas do modelo, mantendo os pesos originais congelados. O resultado chega perto do full fine-tuning para a maioria dos casos, com uma fração da memória necessária. QLoRA soma quantização do modelo base a essa técnica, permitindo treinar modelos grandes em hardware que não suportaria o processo completo. Para a maior parte dos projetos, é o ponto de partida certo.

PEFT como categoria, não como técnica única

Parameter-Efficient Fine-Tuning é o guarda-chuva que inclui LoRA e variantes. A escolha entre elas depende de quanto de comportamento novo o modelo precisa aprender versus quanto pode continuar vindo do modelo base — quanto mais próximo do comportamento original, menos parâmetros precisam mudar.

SFT, DPO e ORPO: da imitação à preferência

Supervised Fine-Tuning ensina o modelo a partir de exemplos de entrada e saída desejada — é o passo inicial mais comum. Direct Preference Optimization vai além: em vez de só imitar exemplos, o modelo aprende a preferir uma resposta sobre outra a partir de pares comparativos, sem precisar de um modelo de recompensa separado como no RLHF tradicional. ORPO combina as duas etapas em um único processo de treinamento, reduzindo custo computacional sem perder a componente de preferência.

Continual Training: manter o modelo atualizado sem reescrever do zero

Domínios que mudam — regulação, produto, terminologia interna — exigem que o modelo continue aprendendo depois do primeiro treinamento. Continual training atualiza incrementalmente, mas traz o risco de esquecimento catastrófico: o modelo aprende o novo e esquece parte do que sabia. Misturar dados antigos e novos no treinamento incremental é a mitigação mais direta.

Dataset Engineering: o fator que mais pesa no resultado

Nenhuma técnica de fine-tuning compensa um dataset mal curado. Exemplos ambíguos, rotulagem inconsistente ou viés de distribuição se propagam diretamente para o comportamento do modelo. Tempo gasto limpando e balanceando o dataset costuma valer mais que tempo gasto ajustando hiperparâmetros de treinamento.

Avaliação: como saber se funcionou

Fine-tuning sem avaliação estruturada é fé, não engenharia. Comparar o modelo ajustado contra o modelo base num conjunto de teste que reflete o uso real — não só métricas de treino — é o que separa um ajuste que melhora o produto de um que só melhora o número no experimento.

O ponto de partida

Antes de treinar, vale confirmar que o problema não se resolve com prompt engineering ou RAG — mais barato e mais rápido de iterar. Quando fine-tuning é mesmo necessário, LoRA ou QLoRA cobrem a maioria dos casos, com o dataset como o verdadeiro fator crítico de sucesso.