Reduzir a Latência com Saídas Previstas
Nesta página
O Problema da Latência em Produção
Em produção, cada milissegundo conta. Quando um utilizador aguarda uma resposta de um LLM para efetuar uma pequena edição de código ou texto, a latência padrão da geração token por token pode parecer excessiva. Se 90% do resultado esperado já é conhecido, porque razão deveria o modelo regenerá-lo na íntegra?
As Saídas Previstas resolvem este problema. Ao fornecer ao modelo uma previsão do resultado, permite-lhe alocar recursos de computação apenas às partes que efetivamente diferem, reduzindo drasticamente o tempo de resposta.
O Conceito: Prever para Acelerar
O princípio é simples. Já conhece a maior parte da resposta esperada — por exemplo, um ficheiro de código existente que pretende modificar ligeiramente. Em vez de deixar o modelo regenerar tudo, transmite o conteúdo esperado através do parâmetro prediction:
response = client.chat.complete(
model="mistral-large-latest",
messages=[...],
prediction={
"type": "content",
"content": expected_content
}
)
O modelo utiliza então este conteúdo como base. Dedica os seus recursos de computação aos tokens que diferem da previsão, o que acelera significativamente a geração.
Funcionamento Técnico
O mecanismo baseia-se numa validação acelerada e não numa geração encurtada. O modelo recebe a sua previsão como material de trabalho e prossegue com a geração comparando o seu resultado com o conteúdo previsto. Sempre que o token que está prestes a produzir coincide com a previsão, a validação é quase instantânea — não ocorre a computação completa da geração. Assim que o seu resultado diverge da previsão, retoma a geração normal token por token até potencialmente se realinhar com o conteúdo previsto.
O resultado prático é duplo. Em primeiro lugar, a qualidade da resposta mantém-se estritamente preservada: o modelo não “copia” a sua previsão; valida-a ou desvia-se dela com base no seu próprio julgamento. Em segundo lugar, a poupança de tempo é proporcional à taxa de sobreposição — uma previsão com 90% de precisão acelera significativamente o processo, enquanto uma previsão com apenas 40% de precisão oferece quase nenhum benefício.
Modelos Compatíveis
Em abril de 2026, dois modelos suportam Saídas Previstas: mistral-large-latest para tarefas complexas de edição e raciocínio, e codestral-latest, otimizado para edição de código. Este último representa a maioria dos casos de uso reais, uma vez que a edição de código é o cenário ideal para a previsão.
Quando Utilizar Saídas Previstas
O critério resume-se a uma pergunta: já conhece a maior parte do resultado? Quando pede ao Codestral para renomear uma variável num ficheiro de 400 linhas, a resposta esperada é esse mesmo ficheiro com apenas algumas ocorrências alteradas — transmita o ficheiro original como previsão e a geração torna-se quase instantânea. A mesma lógica aplica-se à correção de uma frase num documento longo, ao preenchimento de um modelo com estrutura fixa ou à modificação de uma chave num ficheiro JSON extenso: em todos estes casos, mais de 90% do resultado é conhecido antecipadamente, e é exatamente isso que a previsão aproveita.
Pelo contrário, a funcionalidade perde todo o valor quando o resultado é imprevisível — respostas criativas, brainstorming ou resumos abertos. Se o conteúdo real divergir da previsão em mais de metade dos tokens, o benefício desaparece e o modelo gasta o seu tempo a registar discrepâncias. Note também uma limitação técnica: as Saídas Previstas não funcionam com o parâmetro n (gerações múltiplas).
Impacto nos Preços
Boas notícias: as Saídas Previstas não têm impacto nos preços. Não paga extra para fornecer uma previsão. Paga apenas pelos tokens efetivamente gerados, como habitualmente.
Pontos-chave
- As Saídas Previstas reduzem a latência aproveitando conteúdo previsível
- O parâmetro
predictionfornece ao modelo o resultado esperado como base - Dois modelos compatíveis:
mistral-large-latestecodestral-latest - Ideal para edição de código, modificação de texto e modelos
- Sem custos adicionais — a qualidade é preservada