5 sinais de que seu projeto de IA vai travar antes de chegar em produção

Todo projeto de IA começa com um protótipo impressionante. O modelo responde bem, a demo convence, todo mundo fica animado. O problema não é o protótipo — é o intervalo entre "funciona na demo" e "funciona em produção com usuários reais, tráfego real e dados reais". É nesse intervalo que a maioria dos projetos trava.

Depois de acompanhar (e às vezes resgatar) vários desses projetos, percebi que os sinais de que algo vai dar errado aparecem muito antes do lançamento. Aqui estão os cinco que eu procuro primeiro.

1. Ninguém sabe qual é a métrica de sucesso

Se você perguntar "como saberemos que este sistema está funcionando bem?" e a resposta for vaga — "quando os usuários gostarem", "quando parecer inteligente" — o projeto já está em risco. Sem uma métrica objetiva (taxa de resolução, precisão medida contra um dataset de referência, tempo de resposta aceitável), não existe forma de saber se uma mudança no prompt ou no modelo é uma melhoria ou uma piora. O time vai navegar no escuro, tomando decisões por impressão.

2. O protótipo nunca viu um dado real de produção

Protótipos são construídos com exemplos escolhidos a dedo — os casos bonitos, que mostram o sistema no seu melhor momento. O problema aparece quando o primeiro dado real de produção chega: texto malformado, pergunta ambígua, usuário tentando quebrar o sistema de propósito. Se ninguém rodou o protótipo contra uma amostra real e representativa antes de aprovar o projeto, o "funciona" que todo mundo viu não significa nada.

3. O custo por request nunca foi calculado

É comum um time descobrir o custo real só depois que o sistema está em produção e a primeira fatura chega. Multiplique o custo por token pelo volume esperado de requests, adicione o custo de RAG (embeddings, storage vetorial, busca) e de eventuais chamadas em cascata (agentes que fazem múltiplas chamadas por interação). Se esse número não existe numa planilha antes do primeiro commit, é sinal de que o projeto vai ter uma conversa difícil sobre orçamento no pior momento possível: depois de já estar no ar.

4. Não existe plano para quando o modelo erra

Todo sistema de IA erra — a pergunta não é se, é com que frequência e o que acontece quando isso ocorre. Se a resposta for "vamos torcer para que não aconteça", o projeto não está pronto. Precisa existir: um caminho de fallback (resposta padrão, escalonamento para humano), uma forma de o usuário sinalizar que a resposta estava errada, e um processo para revisar esses erros periodicamente. Sistemas sem esse plano colecionam reclamações silenciosas até que alguém decide publicamente que "a IA não funciona".

5. A pessoa que vai manter o sistema não participou das decisões técnicas

É comum um projeto ser desenhado por quem vai lançá-lo, mas mantido por outra pessoa — que não escolheu o modelo, não decidiu a arquitetura de RAG, não definiu os prompts. Quando o sistema quebra às 2h da manhã, essa pessoa está lendo código que nunca viu, tentando entender decisões que nunca discutiu. Isso não é hipotético: é o padrão mais comum de projetos de IA que viram dívida técnica em menos de seis meses.

O que fazer com esses sinais

Nenhum desses cinco pontos exige ferramenta nova ou processo complexo — exige apenas fazer as perguntas certas antes de aprovar o projeto, não depois que ele já está em produção travando. Se dois ou mais desses sinais aparecerem no seu projeto atual, vale parar e resolver antes de escalar. É bem mais barato corrigir isso agora do que depois que o sistema já tem usuários dependendo dele.