Ir para o conteúdo principal
Português— Escolher um idioma
Menu

Introdução à Observabilidade: Rastros, Avaliadores e Avaliações

Aula 11 de 16 Atualizada a 2 de novembro de 2026 Avancado
Nesta página
  1. Por Que a Observabilidade É Essencial
  2. Os Três Pilares da Observabilidade
  3. Os Quatro Componentes
  4. Pré-requisitos e Estado Atual
  5. O Fluxo de Trabalho Típico
  6. Pontos-chave

Reescrito em 2 de novembro de 2026 com base na documentação de Observabilidade da Mistral e no SDK mistralai 3.7.0: a observabilidade assenta agora em rastros OpenTelemetry explorados no Studio, avaliadores LLM (judges) e avaliações offline (mistralai-evaluations). As funcionalidades “Campaigns” e a API chat_completion_events de lições anteriores deixaram de existir. Fontes: Distributed tracing · Offline evaluations.

Por Que a Observabilidade É Essencial

Os seus painéis de controlo padrão — latência, taxas de erro, disponibilidade — podem permanecer verdes enquanto um assistente fornece respostas irrelevantes, inventa procedimentos ou altera o tom após uma atualização de prompt. Um LLM em produção raramente falha com uma exceção; falha ao servir uma resposta errada com confiança. A observabilidade de LLM torna estas falhas visíveis, mensuráveis e corrigíveis.

Os Três Pilares da Observabilidade

1. Visibilidade — Veja o Que Está a Acontecer

Cada pedido da sua aplicação torna-se um rasto: uma árvore de segmentos (spans) que representa cada passo da execução — chamada ao modelo, chamada a ferramentas, passo de fluxo de trabalho — juntamente com a sua entrada, saída, duração, contagem de tokens e estado. Estes rastros seguem o padrão OpenTelemetry e o Explorador do Studio permite-lhe pesquisá-los e inspecioná-los.

2. Sinais de Qualidade — Meça Automaticamente

Rever manualmente milhares de conversas é impossível. Os avaliadores (judges) são avaliadores baseados em LLM que configura uma única vez — com instruções, um modelo e um formato de saída — e que aplica depois a conversas ou gravações de conjuntos de dados para obter um rótulo ou uma pontuação.

3. Ciclos de Iteração — Melhore Continuamente

Os conjuntos de dados reúnem casos de teste, frequentemente extraídos de rastros reais, e as avaliações offline medem uma versão da sua aplicação — modelo, prompt, parâmetros — face a esses dados antes da implementação. Compara versões, mantém a melhor e repete o processo.

Os Quatro Componentes

Componente Função Analogia
Rastros e Explorador Recolher, pesquisar e inspecionar atividade Um APM para IA
Avaliadores (Judges) Avaliar a qualidade automaticamente Um revisor incansável
Conjuntos de Dados Armazenar casos de teste Um conjunto de testes de regressão
Avaliações Medir uma versão face a um conjunto de dados CI para qualidade de IA

Pré-requisitos e Estado Atual

Tenha em mente três pontos antes de começar:

  • Estado: A observabilidade da Mistral encontra-se em Pré-visualização Privada e a sua integração com o SDK muda rapidamente. A Mistral recomenda utilizar a versão mais recente do SDK.
  • Envio de rastros: requer apenas uma chave de API válida. O rastreamento está desativado por predefinição e deve ser ativado por origem (abordado na próxima lição).
  • Leitura de rastros no Studio requer uma organização Enterprise e uma função adequada (Administrador da Organização, Administrador do Espaço de Trabalho ou Visualizador de Observabilidade). As avaliações offline e a adição de segmentos a um conjunto de dados também estão limitadas a organizações Enterprise. Os rastros são retidos durante 30 dias.

Se a sua organização ainda não tem acesso, esta secção continua a valer a pena: os conceitos — rastreamento, avaliação, construção de conjuntos de teste e avaliação antes da implementação — aplicam-se a qualquer ferramenta OpenTelemetry.

O Fluxo de Trabalho Típico

Os componentes formam um ciclo contínuo:

  1. Rastrear e explorar — Instrumente a sua aplicação e utilize depois o Explorador para detetar rastros problemáticos (erros, lentidão, respostas questionáveis)
  2. Avaliar — Crie um avaliador que formalize o critério de qualidade relevante
  3. Construir um conjunto de dados — Transforme segmentos reais em casos de teste
  4. Avaliar — Meça a versão atual e, em seguida, cada variante, face a este conjunto de dados

Cada ciclo aproxima-o de um sistema mais fiável e melhor calibrado.

Pontos-chave

  • A observabilidade de LLM expõe falhas que o monitorização padrão ignora: respostas incorretas
  • Rastros OpenTelemetry (e o seu Explorador), avaliadores, conjuntos de dados e avaliações offline formam o ciclo de melhoria
  • A observabilidade da Mistral está em Pré-visualização Privada; o envio de rastros requer apenas uma chave de API, enquanto a leitura de rastros e a execução de avaliações offline exigem uma organização Enterprise
  • Os rastros são retidos durante 30 dias