Ir para o conteúdo principal
Português— Escolher um idioma
Menu

Inferência em Lote: Porquê, Quando e Poupança de Custos

Aula 1 de 16 Atualizada a 3 de novembro de 2026 Avancado
Nesta página
  1. Compreender a Inferência em Lote
  2. Quando Utilizar a Inferência em Lote?
  3. Endpoints Compatíveis
  4. Dois Modos de Submissão
  5. Poupanças Concretas
  6. Pontos-chave

Atualização de 2 de novembro de 2026 — Modelos. O Mistral Large 3 (mistral-large-2512) e o Mistral Medium 3.5 foram descontinuados a 31 de outubro de 2026 e serão retirados a 30 de abril de 2027. O seu sucessor designado, Mistral Large 4 (mistral-large-4), está em pré-visualização pública desde 6 de outubro. Os exemplos neste curso utilizam o alias mistral-large-latest, que aponta atualmente para o Mistral Large 3, conforme a sua ficha técnica oficial (verificado a 3 de novembro de 2026). Da mesma forma, mistral-medium-latest aponta para o Mistral Medium 3.5. Estes aliases permanecerão válidos até 30 de abril de 2027. Para novos projetos, teste o mistral-large-4, o seu sucessor designado.

Compreender a Inferência em Lote

Assim que coloca um modelo de linguagem em produção, enfrenta um compromisso: precisa de processar volumes massivos de pedidos sem deixar os custos dispararem. A inferência em lote resolve exatamente este problema. Em vez de chamar a API pedido a pedido, agrupa as suas solicitações e executa-as em paralelo a uma tarifa reduzida em comparação com chamadas individuais.

O fluxo de trabalho segue um padrão assíncrono standard: reúne os seus pedidos num ficheiro, submete o lote, passa para outras tarefas e recupera os resultados assim que o processamento termina. Esta latência aceite é precisamente o que cria valor: dá à Mistral AI a liberdade de agendar o trabalho de forma otimizada nos seus recursos de GPU, e os ganhos de eficiência resultantes são-lhe repassados sob a forma de uma redução de preço.

1M
Pedidos máximos por lote
-50%
Redução de custos típica
8
Endpoints suportados
∞
Retenção de resultados

Quando Utilizar a Inferência em Lote?

O critério de decisão resume-se a uma questão: a latência de resposta individual é crítica? Se ninguém estiver à espera em frente a um ecrã, o lote é o caminho a seguir. Isto aplica-se ao processamento de grandes corpora: um serviço jurídico que precisa de classificar e resumir quarenta mil contratos arquivados não necessita de uma resposta em dois segundos; precisa de ter todos os quarenta mil processados antes de segunda-feira, a um custo sustentável.

A geração massiva de conteúdos segue a mesma lógica. Um catálogo de comércio eletrónico com sessenta mil artigos que requerem descrições de produtos, ou uma campanha de e-mails personalizados preparada no dia anterior, são candidatos perfeitos para submissão noturna. A avaliação e benchmarking também se enquadram aqui: quando mede o desempenho de um modelo num conjunto de dados de teste, cada pedido é independente dos outros, e só lê o veredito assim que todo o conjunto foi executado.

Os pipelines ETL e o enriquecimento de dados constituem um terceiro território natural. Pega numa base de dados existente e adiciona metadados extraídos por IA — sentimento, categorização, entidades nomeadas — e o processamento integra-se numa cadeia já assíncrona. Por fim, a moderação em larga escala, onde deve filtrar milhões de conteúdos gerados por utilizadores para detetar violações, retira a maior parte do seu benefício económico deste modo de submissão.

Pelo contrário, se a sua aplicação tiver de responder enquanto o utilizador observa — chatbot, assistente interativo, preenchimento automático —, a inferência em lote está fora de questão. Estes casos de uso pertencem à API síncrona standard, e tentar forçá-los para o modo de lote só produz frustração.

Endpoints Compatíveis

A inferência em lote suporta oito endpoints da API Mistral:

  • /v1/chat/completions — Geração de texto conversacional
  • /v1/embeddings — Cálculo de vetores semânticos
  • /v1/fim/completions — Conclusão de código (fill-in-the-middle)
  • /v1/moderations — Moderação de conteúdos
  • /v1/ocr — Reconhecimento ótico de carateres
  • /v1/classifications — Classificação de texto
  • /v1/conversations — Conversas multi-turno
  • /v1/audio/transcriptions — Transcrição de áudio

Esta cobertura altera a forma como desenha as suas tarefas de processamento em massa: a indexação semântica de uma base documental, a digitalização de arquivos em papel e a transcrição de um fundo de gravações telefónicas passam todas pelo mesmo mecanismo unificado, com as mesmas mecânicas de submissão e recuperação.

Dois Modos de Submissão

A Mistral oferece duas abordagens para submeter os seus pedidos em lote, e a escolha depende essencialmente do volume. O lote por ficheiro escala até um milhão de pedidos: prepara um ficheiro JSONL, carrega-o para a plataforma e, em seguida, cria uma tarefa apontando para esse ficheiro. Este é o método recomendado assim que os volumes se tornam significativos, especialmente porque o ficheiro permanece reutilizável e rastreável.

O lote inline limita-se a dez mil pedidos e elimina a etapa do ficheiro: passa os pedidos diretamente no corpo da chamada à API. Para um script que gera as suas solicitações em tempo real e não tem razão para escrever um intermédio no disco, esta configuração é significativamente mais rápida. Detalharemos cada uma destas abordagens nas próximas lições.

Poupanças Concretas

A tarifação da inferência em lote difere da API standard. Em volumes de produção típicos, a partir de cem mil pedidos por dia, as poupanças atingem 50% ou mais em comparação com chamadas síncronas individuais — o suficiente para viabilizar tratamentos que uma tarifa em tempo real tornaria simplesmente impossível orçamentar. Acrescenta-se um conforto operacional frequentemente subestimado: os resultados não expiram. Pode voltar a descarregá-los a qualquer momento após o fim do processamento, o que dispensa a necessidade de construir uma cópia local por precaução.

Pontos-chave

  • A inferência em lote agrupa os seus pedidos para processamento assíncrono a um custo reduzido
  • Suporta oito endpoints diferentes, cobrindo quase todos os casos de uso
  • Existem dois modos: lote por ficheiro (até 1M de pedidos) e lote inline (até 10K)
  • Os resultados são persistentes e podem ser descarregados sem limite de tempo
  • Este modo não é adequado para aplicações que exigem respostas em tempo real