Inferência em Lote: Porquê, Quando e Poupança de Custos
Nesta página
Atualização de 2 de novembro de 2026 — Modelos. O Mistral Large 3 (
mistral-large-2512) e o Mistral Medium 3.5 foram descontinuados a 31 de outubro de 2026 e serão retirados a 30 de abril de 2027. O seu sucessor designado, Mistral Large 4 (mistral-large-4), está em pré-visualização pública desde 6 de outubro. Os exemplos neste curso utilizam o aliasmistral-large-latest, que aponta atualmente para o Mistral Large 3, conforme a sua ficha técnica oficial (verificado a 3 de novembro de 2026). Da mesma forma,mistral-medium-latestaponta para o Mistral Medium 3.5. Estes aliases permanecerão válidos até 30 de abril de 2027. Para novos projetos, teste omistral-large-4, o seu sucessor designado.
Compreender a Inferência em Lote
Assim que coloca um modelo de linguagem em produção, enfrenta um compromisso: precisa de processar volumes massivos de pedidos sem deixar os custos dispararem. A inferência em lote resolve exatamente este problema. Em vez de chamar a API pedido a pedido, agrupa as suas solicitações e executa-as em paralelo a uma tarifa reduzida em comparação com chamadas individuais.
O fluxo de trabalho segue um padrão assíncrono standard: reúne os seus pedidos num ficheiro, submete o lote, passa para outras tarefas e recupera os resultados assim que o processamento termina. Esta latência aceite é precisamente o que cria valor: dá à Mistral AI a liberdade de agendar o trabalho de forma otimizada nos seus recursos de GPU, e os ganhos de eficiência resultantes são-lhe repassados sob a forma de uma redução de preço.
Quando Utilizar a Inferência em Lote?
O critério de decisão resume-se a uma questão: a latência de resposta individual é crítica? Se ninguém estiver à espera em frente a um ecrã, o lote é o caminho a seguir. Isto aplica-se ao processamento de grandes corpora: um serviço jurídico que precisa de classificar e resumir quarenta mil contratos arquivados não necessita de uma resposta em dois segundos; precisa de ter todos os quarenta mil processados antes de segunda-feira, a um custo sustentável.
A geração massiva de conteúdos segue a mesma lógica. Um catálogo de comércio eletrónico com sessenta mil artigos que requerem descrições de produtos, ou uma campanha de e-mails personalizados preparada no dia anterior, são candidatos perfeitos para submissão noturna. A avaliação e benchmarking também se enquadram aqui: quando mede o desempenho de um modelo num conjunto de dados de teste, cada pedido é independente dos outros, e só lê o veredito assim que todo o conjunto foi executado.
Os pipelines ETL e o enriquecimento de dados constituem um terceiro território natural. Pega numa base de dados existente e adiciona metadados extraídos por IA — sentimento, categorização, entidades nomeadas — e o processamento integra-se numa cadeia já assíncrona. Por fim, a moderação em larga escala, onde deve filtrar milhões de conteúdos gerados por utilizadores para detetar violações, retira a maior parte do seu benefício económico deste modo de submissão.
Pelo contrário, se a sua aplicação tiver de responder enquanto o utilizador observa — chatbot, assistente interativo, preenchimento automático —, a inferência em lote está fora de questão. Estes casos de uso pertencem à API síncrona standard, e tentar forçá-los para o modo de lote só produz frustração.
Endpoints Compatíveis
A inferência em lote suporta oito endpoints da API Mistral:
/v1/chat/completions— Geração de texto conversacional/v1/embeddings— Cálculo de vetores semânticos/v1/fim/completions— Conclusão de código (fill-in-the-middle)/v1/moderations— Moderação de conteúdos/v1/ocr— Reconhecimento ótico de carateres/v1/classifications— Classificação de texto/v1/conversations— Conversas multi-turno/v1/audio/transcriptions— Transcrição de áudio
Esta cobertura altera a forma como desenha as suas tarefas de processamento em massa: a indexação semântica de uma base documental, a digitalização de arquivos em papel e a transcrição de um fundo de gravações telefónicas passam todas pelo mesmo mecanismo unificado, com as mesmas mecânicas de submissão e recuperação.
Dois Modos de Submissão
A Mistral oferece duas abordagens para submeter os seus pedidos em lote, e a escolha depende essencialmente do volume. O lote por ficheiro escala até um milhão de pedidos: prepara um ficheiro JSONL, carrega-o para a plataforma e, em seguida, cria uma tarefa apontando para esse ficheiro. Este é o método recomendado assim que os volumes se tornam significativos, especialmente porque o ficheiro permanece reutilizável e rastreável.
O lote inline limita-se a dez mil pedidos e elimina a etapa do ficheiro: passa os pedidos diretamente no corpo da chamada à API. Para um script que gera as suas solicitações em tempo real e não tem razão para escrever um intermédio no disco, esta configuração é significativamente mais rápida. Detalharemos cada uma destas abordagens nas próximas lições.
Poupanças Concretas
A tarifação da inferência em lote difere da API standard. Em volumes de produção típicos, a partir de cem mil pedidos por dia, as poupanças atingem 50% ou mais em comparação com chamadas síncronas individuais — o suficiente para viabilizar tratamentos que uma tarifa em tempo real tornaria simplesmente impossível orçamentar. Acrescenta-se um conforto operacional frequentemente subestimado: os resultados não expiram. Pode voltar a descarregá-los a qualquer momento após o fim do processamento, o que dispensa a necessidade de construir uma cópia local por precaução.
Pontos-chave
- A inferência em lote agrupa os seus pedidos para processamento assíncrono a um custo reduzido
- Suporta oito endpoints diferentes, cobrindo quase todos os casos de uso
- Existem dois modos: lote por ficheiro (até 1M de pedidos) e lote inline (até 10K)
- Os resultados são persistentes e podem ser descarregados sem limite de tempo
- Este modo não é adequado para aplicações que exigem respostas em tempo real