Introdução à Observabilidade: Rastros, Avaliadores e Avaliações
Nesta página
Reescrito em 2 de novembro de 2026 com base na documentação de Observabilidade da Mistral e no SDK
mistralai3.7.0: a observabilidade assenta agora em rastros OpenTelemetry explorados no Studio, avaliadores LLM (judges) e avaliações offline (mistralai-evaluations). As funcionalidades “Campaigns” e a APIchat_completion_eventsde lições anteriores deixaram de existir. Fontes: Distributed tracing · Offline evaluations.
Por Que a Observabilidade É Essencial
Os seus painéis de controlo padrão — latência, taxas de erro, disponibilidade — podem permanecer verdes enquanto um assistente fornece respostas irrelevantes, inventa procedimentos ou altera o tom após uma atualização de prompt. Um LLM em produção raramente falha com uma exceção; falha ao servir uma resposta errada com confiança. A observabilidade de LLM torna estas falhas visíveis, mensuráveis e corrigíveis.
Os Três Pilares da Observabilidade
1. Visibilidade — Veja o Que Está a Acontecer
Cada pedido da sua aplicação torna-se um rasto: uma árvore de segmentos (spans) que representa cada passo da execução — chamada ao modelo, chamada a ferramentas, passo de fluxo de trabalho — juntamente com a sua entrada, saída, duração, contagem de tokens e estado. Estes rastros seguem o padrão OpenTelemetry e o Explorador do Studio permite-lhe pesquisá-los e inspecioná-los.
2. Sinais de Qualidade — Meça Automaticamente
Rever manualmente milhares de conversas é impossível. Os avaliadores (judges) são avaliadores baseados em LLM que configura uma única vez — com instruções, um modelo e um formato de saída — e que aplica depois a conversas ou gravações de conjuntos de dados para obter um rótulo ou uma pontuação.
3. Ciclos de Iteração — Melhore Continuamente
Os conjuntos de dados reúnem casos de teste, frequentemente extraídos de rastros reais, e as avaliações offline medem uma versão da sua aplicação — modelo, prompt, parâmetros — face a esses dados antes da implementação. Compara versões, mantém a melhor e repete o processo.
Os Quatro Componentes
| Componente | Função | Analogia |
|---|---|---|
| Rastros e Explorador | Recolher, pesquisar e inspecionar atividade | Um APM para IA |
| Avaliadores (Judges) | Avaliar a qualidade automaticamente | Um revisor incansável |
| Conjuntos de Dados | Armazenar casos de teste | Um conjunto de testes de regressão |
| Avaliações | Medir uma versão face a um conjunto de dados | CI para qualidade de IA |
Pré-requisitos e Estado Atual
Tenha em mente três pontos antes de começar:
- Estado: A observabilidade da Mistral encontra-se em Pré-visualização Privada e a sua integração com o SDK muda rapidamente. A Mistral recomenda utilizar a versão mais recente do SDK.
- Envio de rastros: requer apenas uma chave de API válida. O rastreamento está desativado por predefinição e deve ser ativado por origem (abordado na próxima lição).
- Leitura de rastros no Studio requer uma organização Enterprise e uma função adequada (Administrador da Organização, Administrador do Espaço de Trabalho ou Visualizador de Observabilidade). As avaliações offline e a adição de segmentos a um conjunto de dados também estão limitadas a organizações Enterprise. Os rastros são retidos durante 30 dias.
Se a sua organização ainda não tem acesso, esta secção continua a valer a pena: os conceitos — rastreamento, avaliação, construção de conjuntos de teste e avaliação antes da implementação — aplicam-se a qualquer ferramenta OpenTelemetry.
O Fluxo de Trabalho Típico
Os componentes formam um ciclo contínuo:
- Rastrear e explorar — Instrumente a sua aplicação e utilize depois o Explorador para detetar rastros problemáticos (erros, lentidão, respostas questionáveis)
- Avaliar — Crie um avaliador que formalize o critério de qualidade relevante
- Construir um conjunto de dados — Transforme segmentos reais em casos de teste
- Avaliar — Meça a versão atual e, em seguida, cada variante, face a este conjunto de dados
Cada ciclo aproxima-o de um sistema mais fiável e melhor calibrado.
Pontos-chave
- A observabilidade de LLM expõe falhas que o monitorização padrão ignora: respostas incorretas
- Rastros OpenTelemetry (e o seu Explorador), avaliadores, conjuntos de dados e avaliações offline formam o ciclo de melhoria
- A observabilidade da Mistral está em Pré-visualização Privada; o envio de rastros requer apenas uma chave de API, enquanto a leitura de rastros e a execução de avaliações offline exigem uma organização Enterprise
- Os rastros são retidos durante 30 dias