LLMOps é o conjunto de práticas, ferramentas e rotinas que mantém uma aplicação com modelo de linguagem funcionando em produção: versionar prompts e modelos, avaliar respostas antes e depois de cada mudança, rastrear cada chamada, controlar custo e latência, e reagir quando a qualidade cai. É a disciplina que transforma um chatbot que impressionou na demonstração em um sistema que a operação usa todo dia, com dono, métrica e plano para quando algo dá errado.
Para quem decide, a pergunta prática não é "precisamos de LLMOps?", e sim "quem vai responder quando a resposta do assistente piorar, a conta da API dobrar ou o fornecedor desligar o modelo que usamos?". Sem LLMOps, essas perguntas ficam sem dono e são descobertas pelo usuário. Com LLMOps, viram alerta, teste e processo.
Este guia explica o que é LLMOps e como ele se diferencia de MLOps e de AIOps, quais são as camadas de uma operação com LLM, que ferramentas existem hoje, como montar a rotina de avaliação e de mudança, e como organizar o time para sustentar isso depois do lançamento. No fim, há perguntas frequentes sobre o tema.
O que é LLMOps e por que ele existe
A IBM define LLMOps como as práticas e fluxos de trabalho especializados que aceleram o desenvolvimento, a implantação e a gestão de modelos de linguagem ao longo do ciclo de vida. A definição é ampla de propósito: o termo cobre desde a escolha do modelo até o desligamento de uma versão antiga.
- O fornecedor muda o modelo. Modelos de API têm data para sair do ar. A página de descontinuações da OpenAI registra, por exemplo, o desligamento do
gpt-4.5-previewem 14 de julho de 2025 e dogpt-4-turboem 23 de outubro de 2026, cada um com um substituto recomendado. Trocar o modelo muda as respostas, mesmo com o prompt igual. - O prompt muda. Um ajuste de texto para corrigir um caso pode quebrar outros dez. Sem versão e sem teste, ninguém sabe qual mudança causou o problema.
- Os dados mudam. Em uma aplicação com RAG, a base de documentos cresce, envelhece e muda de formato. A resposta piora sem que nenhuma linha de código tenha sido alterada.
- O uso muda. Os usuários descobrem perguntas que ninguém previu, e o volume de chamadas, e portanto o custo, acompanha a adoção.
Isso não é novidade em aprendizado de máquina. Em 2015, um grupo de engenheiros do Google publicou no NeurIPS o artigo Hidden Technical Debt in Machine Learning Systems, mostrando que sistemas de ML acumulam custos de manutenção altos e pouco visíveis, ligados a dependências de dados, ciclos de realimentação e acoplamento entre componentes. Com LLM, essa dívida aparece mais rápido, porque parte do comportamento está fora do seu controle, no modelo do fornecedor.
O custo de ignorar a operação também tem registro. Em julho de 2024, o Gartner previu que pelo menos 30% dos projetos de IA generativa seriam abandonados depois da prova de conceito até o fim de 2025, por dados de baixa qualidade, controles de risco inadequados, custos crescentes ou valor de negócio pouco claro. Três desses quatro motivos são, na prática, falta de operação: ninguém mediu a qualidade, ninguém controlou o risco e ninguém acompanhou o custo.
LLMOps, MLOps e AIOps: qual é a diferença
Os três termos aparecem juntos em propostas comerciais e confundem quem precisa decidir. Eles tratam de problemas diferentes.
| MLOps | LLMOps | AIOps | |
|---|---|---|---|
| O que opera | Modelos treinados pela própria empresa (previsão, classificação) | Aplicações que usam modelos de linguagem, quase sempre de terceiros | A infraestrutura e os serviços de TI |
| Principal ativo versionado | Dados de treino, código e modelo | Prompt, modelo escolhido, base de conhecimento e ferramentas | Regras de correlação e modelos de detecção |
| Como mede qualidade | Métricas numéricas (acurácia, AUC, F1) | Avaliação de texto: conjuntos de teste, juiz automático, revisão humana | Tempo de detecção e resolução de incidentes |
| Onde está o custo | Treino e infraestrutura | Tokens por chamada, que crescem com o uso | Ferramenta e integração |
MLOps é a disciplina mais antiga: pipelines de treino, registro de modelos, monitoramento de drift. Já tratamos dela em arquitetura de MLOps. A IBM aponta que LLMOps fica dentro desse guarda-chuva, mas merece tratamento próprio, entre outros motivos porque o ML tradicional se avalia com métricas fáceis de calcular, como acurácia e F1, enquanto modelos de linguagem pedem outro conjunto de critérios de avaliação.
AIOps é outra coisa: é o uso de inteligência artificial para melhorar as operações de TI, separando sinais relevantes do ruído de alertas, ajudando a achar a causa raiz e, em alguns casos, resolvendo incidentes sem intervenção humana. AIOps usa IA para operar a TI; LLMOps opera a IA. As duas se encontram quando o time de operação passa a usar um assistente com LLM para analisar incidentes: esse assistente também precisa de LLMOps.
Na prática, a diferença que mais pesa para o gestor é de onde vem a mudança. Em MLOps, o modelo só muda quando o seu time retreina. Em LLMOps, o modelo pode mudar porque o fornecedor publicou uma versão nova, e a sua aplicação precisa detectar isso antes do usuário.
As camadas de uma operação com LLM
Uma operação madura de LLMOps tem cinco camadas. Nenhuma delas exige uma plataforma cara para começar; todas exigem dono.
1. Versionamento de prompt, modelo e configuração
Cada resposta da aplicação depende de uma combinação: texto do prompt, modelo e versão, parâmetros (temperatura, limite de tokens), ferramentas disponíveis para o agente e a base de conhecimento consultada. LLMOps começa por registrar essa combinação como uma versão, com data e autor, para que qualquer mudança possa ser comparada e desfeita. Prompt colado no código, editado direto em produção, é o primeiro sinal de que a operação não existe.
2. Avaliação antes de cada mudança
É a camada que separa LLMOps de "monitorar logs". Antes de trocar o prompt ou o modelo, a nova versão roda contra um conjunto de perguntas reais com respostas esperadas, e o resultado é comparado com a versão em produção. A avaliação combina três tipos de checagem:
- Regras determinísticas: a resposta tem o formato esperado, cita a fonte, não contém dado pessoal.
- Juiz automático: outro modelo avalia se a resposta é fiel ao documento recuperado e se responde à pergunta. É rápido, mas precisa ser calibrado com exemplos revisados por pessoas.
- Revisão humana por amostragem: especialistas da área de negócio avaliam uma fração das respostas e alimentam o conjunto de teste com os erros que encontram.
O conjunto de teste precisa estar em português e refletir o vocabulário da empresa. Um conjunto genérico, em inglês, mede outra aplicação.
3. Rastreamento (tracing) de cada chamada
Em produção, cada requisição gera um rastro: a pergunta, os documentos recuperados, as chamadas ao modelo, as ferramentas acionadas pelo agente, a resposta, o tempo de cada etapa e os tokens consumidos. Sem esse rastro, investigar uma reclamação vira adivinhação. Com ele, dá para ver se o erro veio da busca, do prompt ou do modelo.
O padrão que está se consolidando para esse rastro são as convenções semânticas de IA generativa do OpenTelemetry, que definem spans, métricas e eventos para clientes de IA generativa, para o MCP (Model Context Protocol) e para provedores específicos. Adotar esse padrão evita ficar preso a uma ferramenta de observabilidade. O post sobre observabilidade para agentes de IA com OpenTelemetry mostra a instrumentação em detalhe.
4. Custo, latência e roteamento
Em LLM, o custo é variável e cresce com o uso. LLMOps acompanha o custo por funcionalidade e por usuário, define orçamento e alerta, e usa o roteamento de modelos: perguntas simples vão para um modelo menor e mais barato, e só as complexas chegam ao modelo grande. Cache de respostas e de contexto, e prompts mais curtos, completam o pacote. O guia de FinOps para IA detalha como medir e reduzir essa conta.
5. Segurança e guardrails
Filtros de entrada e saída, mascaramento de dado pessoal, limites de permissão para agentes e teste contra prompt injection fazem parte da operação, porque precisam ser recalibrados a cada mudança de modelo ou de prompt. O tema está em guardrails em IA generativa.
Ferramentas de LLMOps: o que existe hoje
Três plataformas cobrem a maior parte dos casos que vemos em empresas, e a escolha depende mais de onde o dado pode ficar do que de funcionalidade.
| Ferramenta | O que cobre | Onde roda |
|---|---|---|
| LangSmith | Observabilidade, avaliação, engenharia de prompt e implantação; funciona com vários frameworks e provedores, não só LangChain | Nuvem, híbrido ou auto-hospedado |
| Langfuse | Rastreamento, avaliações (juiz automático, avaliadores em código, feedback de usuário, rotulagem manual), gestão de prompts e datasets; construído sobre OpenTelemetry | Código aberto (licença MIT, exceto as pastas ee), auto-hospedável com Docker Compose ou Kubernetes |
| MLflow | Rastreamento de prompts, buscas e chamadas de ferramenta, avaliação com juízes prontos ou próprios, registro e versionamento de prompts | Código aberto, mantido sob a Linux Foundation |
- Política de dados. Se o rastro contém dado pessoal ou sigiloso e não pode sair da rede da empresa, a ferramenta precisa rodar auto-hospedada. Isso pesa mais que qualquer funcionalidade.
- O que o time já usa. Quem já tem MLflow para os modelos tradicionais ganha ao estender a mesma ferramenta. Quem constrói agentes com LangGraph tende a ganhar tempo com LangSmith.
- Padrão aberto de instrumentação. Instrumentar a aplicação com OpenTelemetry permite trocar a ferramenta depois sem reescrever o código.
Não existe ferramenta que faça LLMOps sozinha. A plataforma guarda rastros e roda avaliações; quem define o que é uma resposta boa, quem revisa os erros e quem decide publicar uma mudança continua sendo o time.
Como montar a rotina de LLMOps, do piloto à produção
O erro mais comum é tentar montar a operação inteira antes do primeiro usuário, ou só pensar nela depois do primeiro incidente. A sequência que funciona acompanha a maturidade da aplicação.
No piloto
- Ligar o rastreamento desde o primeiro dia, mesmo com poucos usuários. É ele que vai alimentar o conjunto de teste.
- Tirar o prompt do código e versioná-lo.
- Montar o primeiro conjunto de teste com algumas dezenas de perguntas reais dos usuários do piloto, com a resposta esperada escrita por quem conhece o processo.
- Medir custo por conversa desde o início, para que a projeção de custo da produção não seja um chute.
Na passagem para produção
- Definir os critérios de qualidade que bloqueiam uma mudança: por exemplo, nenhuma versão nova vai ao ar se a taxa de respostas fiéis ao documento cair em relação à atual.
- Criar o fluxo de mudança: alteração de prompt ou de modelo passa por avaliação automática, revisão e publicação gradual, com caminho de volta para a versão anterior.
- Configurar alertas de custo, latência e erro, com alguém de plantão que saiba o que fazer com eles.
- Registrar a data de descontinuação dos modelos usados e planejar a troca com antecedência.
Na operação contínua
- Revisar uma amostra de conversas toda semana e levar os erros para o conjunto de teste.
- Reavaliar a aplicação sempre que o fornecedor publicar uma versão nova do modelo, mesmo que você não pretenda trocar ainda.
- Revisar o custo por funcionalidade todo mês e testar modelos menores nas tarefas simples.
- Atualizar a base de conhecimento do RAG e remover documentos vencidos.
Um exemplo real
No Grupo Soma, um dos maiores grupos de moda e lifestyle do Brasil, os produtos de IA rodavam sobre APIs de LLM sem visibilidade da camada MCP. A BIX integrou o LangFuse aos servidores MCP e fez a otimização e o roteamento de modelos no IAzzas e em outros produtos. O resultado, descrito no case do Grupo Soma, foi observabilidade em 100% dos servidores MCP e mais de 70% de redução no consumo de tokens e nos custos de LLM no IAzzas. O ponto para quem decide: a redução de custo veio depois da observabilidade, porque só dá para otimizar o que se mede.
Quem cuida do LLMOps: time, papéis e contratação
LLMOps não é um cargo; é uma responsabilidade dividida entre papéis que muitas empresas ainda não juntaram no mesmo time.
| Papel | Responsabilidade no LLMOps |
|---|---|
| Engenharia de IA | Prompts, roteamento de modelos, ferramentas do agente, conjunto de teste |
| Engenharia de dados | Base de conhecimento, pipelines de ingestão para o RAG, qualidade dos documentos |
| Plataforma e infraestrutura | Rastreamento, alertas, ambientes, segurança, custo de nuvem |
| Área de negócio | Definição do que é uma resposta boa, revisão de amostras, priorização de melhorias |
A pergunta de contratação costuma ser se vale montar esse time internamente. Para uma ou duas aplicações, raramente vale contratar todos os perfis: a demanda de cada um é parcial e varia ao longo do mês. O modelo que mais aparece em empresas de médio e grande porte é um time pequeno e recorrente, que cuida da operação e da evolução das aplicações de IA, com a área de negócio participando das revisões.
Três sinais mostram que a operação está sem dono: ninguém sabe dizer quanto a aplicação custou no mês passado, uma troca de modelo foi feita sem teste, e as reclamações de usuários chegam por e-mail em vez de chegar como rastro investigável.
Na BIX, LLMOps começa no desenho da aplicação, e não depois do lançamento: rastreamento instrumentado desde o piloto, conjunto de teste em português com a área de negócio, fluxo de mudança com avaliação e caminho de volta, e acompanhamento de custo por funcionalidade. O ponto de partida é a página de observabilidade e LLMOps com LangSmith. Como modelos, prompts e dados mudam o tempo todo, a operação costuma ficar com um time de sustentação e evolução que acompanha as aplicações de IA depois do lançamento, revisa as avaliações e planeja as trocas de modelo.
Perguntas frequentes
O que é LLMOps? LLMOps é o conjunto de práticas e ferramentas para operar aplicações com modelos de linguagem em produção. Inclui versionar prompts e modelos, avaliar respostas antes de cada mudança, rastrear cada chamada, controlar custo e latência e manter a segurança. O objetivo é que a aplicação continue confiável quando o modelo, o prompt, os dados ou o uso mudam.
Qual a diferença entre LLMOps e MLOps? MLOps opera modelos que a própria empresa treina e avalia com métricas numéricas, como acurácia. LLMOps opera aplicações que usam modelos de linguagem, quase sempre de terceiros, e avalia texto com conjuntos de teste, juiz automático e revisão humana. Em LLMOps, o principal ativo versionado é o prompt com o modelo e a base de conhecimento, e o custo cresce a cada chamada.
AIOps e LLMOps são a mesma coisa? Não. AIOps é o uso de IA para operar a infraestrutura e os serviços de TI, como correlacionar alertas e achar a causa de incidentes. LLMOps é a operação das próprias aplicações com modelos de linguagem. Uma empresa pode ter as duas, e um assistente de AIOps baseado em LLM também precisa de LLMOps.
Quais ferramentas de LLMOps usar? LangSmith, Langfuse e MLflow cobrem rastreamento, avaliação e gestão de prompts. A escolha depende principalmente de onde o dado pode ficar: Langfuse e MLflow são de código aberto e auto-hospedáveis, e o LangSmith oferece nuvem, híbrido ou auto-hospedado. Instrumentar a aplicação com OpenTelemetry facilita trocar de ferramenta depois.
Quando começar a fazer LLMOps? No piloto. Rastreamento e versionamento de prompt custam pouco no início e geram os dados para o conjunto de teste e a projeção de custo. Deixar para depois do lançamento significa descobrir os problemas pelo usuário e sem histórico para investigar.







