Ir para o conteúdo principal
Português— Escolher um idioma
Menu

Reduzir a Latência com Saídas Previstas

Aula 5 de 16 Atualizada a 29 de julho de 2026 Avancado
Nesta página
  1. O Problema da Latência em Produção
  2. O Conceito: Prever para Acelerar
  3. Funcionamento Técnico
  4. Modelos Compatíveis
  5. Quando Utilizar Saídas Previstas
  6. Impacto nos Preços
  7. Pontos-chave

O Problema da Latência em Produção

Em produção, cada milissegundo conta. Quando um utilizador aguarda uma resposta de um LLM para efetuar uma pequena edição de código ou texto, a latência padrão da geração token por token pode parecer excessiva. Se 90% do resultado esperado já é conhecido, porque razão deveria o modelo regenerá-lo na íntegra?

As Saídas Previstas resolvem este problema. Ao fornecer ao modelo uma previsão do resultado, permite-lhe alocar recursos de computação apenas às partes que efetivamente diferem, reduzindo drasticamente o tempo de resposta.

O Conceito: Prever para Acelerar

O princípio é simples. Já conhece a maior parte da resposta esperada — por exemplo, um ficheiro de código existente que pretende modificar ligeiramente. Em vez de deixar o modelo regenerar tudo, transmite o conteúdo esperado através do parâmetro prediction:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[...],
    prediction={
        "type": "content",
        "content": expected_content
    }
)

O modelo utiliza então este conteúdo como base. Dedica os seus recursos de computação aos tokens que diferem da previsão, o que acelera significativamente a geração.

Funcionamento Técnico

O mecanismo baseia-se numa validação acelerada e não numa geração encurtada. O modelo recebe a sua previsão como material de trabalho e prossegue com a geração comparando o seu resultado com o conteúdo previsto. Sempre que o token que está prestes a produzir coincide com a previsão, a validação é quase instantânea — não ocorre a computação completa da geração. Assim que o seu resultado diverge da previsão, retoma a geração normal token por token até potencialmente se realinhar com o conteúdo previsto.

O resultado prático é duplo. Em primeiro lugar, a qualidade da resposta mantém-se estritamente preservada: o modelo não “copia” a sua previsão; valida-a ou desvia-se dela com base no seu próprio julgamento. Em segundo lugar, a poupança de tempo é proporcional à taxa de sobreposição — uma previsão com 90% de precisão acelera significativamente o processo, enquanto uma previsão com apenas 40% de precisão oferece quase nenhum benefício.

Modelos Compatíveis

Em abril de 2026, dois modelos suportam Saídas Previstas: mistral-large-latest para tarefas complexas de edição e raciocínio, e codestral-latest, otimizado para edição de código. Este último representa a maioria dos casos de uso reais, uma vez que a edição de código é o cenário ideal para a previsão.

Quando Utilizar Saídas Previstas

O critério resume-se a uma pergunta: já conhece a maior parte do resultado? Quando pede ao Codestral para renomear uma variável num ficheiro de 400 linhas, a resposta esperada é esse mesmo ficheiro com apenas algumas ocorrências alteradas — transmita o ficheiro original como previsão e a geração torna-se quase instantânea. A mesma lógica aplica-se à correção de uma frase num documento longo, ao preenchimento de um modelo com estrutura fixa ou à modificação de uma chave num ficheiro JSON extenso: em todos estes casos, mais de 90% do resultado é conhecido antecipadamente, e é exatamente isso que a previsão aproveita.

Pelo contrário, a funcionalidade perde todo o valor quando o resultado é imprevisível — respostas criativas, brainstorming ou resumos abertos. Se o conteúdo real divergir da previsão em mais de metade dos tokens, o benefício desaparece e o modelo gasta o seu tempo a registar discrepâncias. Note também uma limitação técnica: as Saídas Previstas não funcionam com o parâmetro n (gerações múltiplas).

Impacto nos Preços

Boas notícias: as Saídas Previstas não têm impacto nos preços. Não paga extra para fornecer uma previsão. Paga apenas pelos tokens efetivamente gerados, como habitualmente.

Pontos-chave

  • As Saídas Previstas reduzem a latência aproveitando conteúdo previsível
  • O parâmetro prediction fornece ao modelo o resultado esperado como base
  • Dois modelos compatíveis: mistral-large-latest e codestral-latest
  • Ideal para edição de código, modificação de texto e modelos
  • Sem custos adicionais — a qualidade é preservada