Observabilidade e Segurança em IA: o que monitorar e o que proteger

Um sistema de IA que ninguém está observando é um sistema que já está falhando, só ainda não descobriram. E um sistema de IA sem guardrails é uma superfície de ataque nova, porque o próprio input do usuário vira instrução para o modelo. Observabilidade e segurança andam juntas porque a primeira é o que permite detectar a segunda falhando.

OpenTelemetry e tracing para pipelines de IA

Um pipeline de IA raramente é uma chamada só: recuperação de contexto, chamada de ferramenta, geração, validação. OpenTelemetry dá tracing distribuído que segue essa cadeia inteira, mostrando onde o tempo realmente foi gasto — se foi na busca vetorial, na fila de espera do provedor de LLM, ou no pós-processamento. Sem tracing, "está lento" vira debug às cegas.

Prometheus, Grafana e as métricas que realmente importam

Latência p50 não conta a história toda quando o problema mora na cauda. Prometheus coletando p95 e p99 por rota, junto com taxa de erro e saturação de fila, alimenta dashboards no Grafana que mostram degradação antes que o usuário reclame. A métrica que mais falta em setups iniciais é justamente a de custo — tokens consumidos por rota, por usuário, por hora.

LangSmith e MLflow: observabilidade específica de LLM

Ferramentas de observabilidade genéricas não capturam o que é específico de LLM: o prompt exato enviado, a resposta completa, decisões intermediárias de um agente. LangSmith preenche essa lacuna para debugging e avaliação de chains e agentes; MLflow cobre o ciclo de vida do modelo — versionamento, experimentos, comparação entre fine-tunes. Um cobre a execução, o outro cobre o desenvolvimento do modelo.

Logs estruturados e uso de tokens como métrica de negócio

Log em texto livre não é buscável em escala. Logs estruturados — com campos fixos para modelo usado, tokens de entrada e saída, latência, usuário — permitem consultas que texto livre não permite, e viram a base para relatório de custo por cliente ou por feature, algo que o time de produto acaba pedindo mais cedo do que se imagina.

Prompt Injection e Jailbreak: a superfície de ataque que não existia antes

Quando o input do usuário vira parte do prompt, o usuário ganha um caminho para tentar reescrever as instruções do sistema. Prompt injection direta vem do próprio usuário; indireta vem de conteúdo externo que o agente processa — um documento, uma página web, um e-mail. Jailbreak tenta contornar as restrições de comportamento do modelo. Nenhuma das duas se resolve só com um prompt de sistema mais rígido.

Guardrails, sandboxing e permissões de ferramentas

Guardrails validam entrada e saída contra regras explícitas, independente do que o modelo "decidiu" fazer. Sandboxing isola a execução de código ou ferramentas gerado pelo agente, para que uma ação maliciosa não tenha acesso além do necessário. Permissões de ferramentas por escopo — o agente pode ler esse sistema mas não escrever naquele — limitam o dano de uma decisão errada do modelo antes que ela vire uma ação real.

PII, Data Leakage e Auditoria

Dados pessoais que entram no contexto de um LLM podem vazar na resposta, ser retidos em log ou, em pior caso, ir para treinamento de terceiros se a política do provedor permitir. Mascarar PII antes de enviar ao modelo, aplicar rate limit para conter abuso e manter trilha de auditoria de quem pediu o quê — isso é o que transforma "confiamos no modelo" em "conseguimos provar o que aconteceu" quando algo dá errado.

O ponto de partida

Antes de escalar tráfego ou dar mais autonomia a um agente, vale garantir que existe tracing ponta a ponta, métricas de custo por uso, e pelo menos guardrails básicos contra prompt injection e vazamento de dado sensível. É o par que transforma um sistema de IA de experimento em algo que o time consegue operar com confiança.