Edição em português
Produção: Lotes, Otimização e Observabilidade
Transição para produção: inferência em lote até 1 milhão de pedidos, saídas previstas, citações com fontes e observabilidade (rastros, avaliadores, avaliações offline).
16 aulas ca. 1 h 15 min Avancado
O que vai aprender
- Preparar uma tarefa de inferência em lote em JSONL, acompanhar o seu estado e recuperar os resultados
- Reduzir a latência da resposta com saídas previstas em tarefas de reescrita
- Implementar citações com objeto de referência para fundamentar as respostas nas suas fontes
- Rastrear uma aplicação com OpenTelemetry, explorar rastros de produção e automatizar a avaliação com avaliadores LLM
- Criar conjuntos de dados a partir de rastros e medir cada versão com avaliações offline
Ficha do curso
- Destinatários
- Programadores, engenheiros e integradores que pretendem utilizar a Mistral AI via API nas suas aplicações.
- Pré-requisitos
- Experiência comprovada no desenvolvimento de aplicações e na sua implementação em produção.
- Duração
- 1 h 15 min — 16 aulas
- Modalidades
- Curso 100% online, ao seu próprio ritmo, acessível 24/7 através de um navegador. O progresso é guardado e pode retomar a qualquer momento. Duração estimada: 1 h 15 min.
- Avaliação
- Autoavaliação baseada nos pontos principais que concluem cada lição e prática direta dos exemplos nos seus próprios casos. Um questionário final de 5 perguntas com classificação no fim da última lição valida o que aprendeu.
- Acessibilidade
- Curso acessível a pessoas com deficiência: conteúdo de texto compatível com leitores de ecrã, navegação por teclado e contraste de cores em conformidade. Para quaisquer necessidades de adaptação, envie um e-mail para [email protected].
- Preço
- Gratis
Conteúdo do curso
- 01 Inferência em Lote: Porquê, Quando e Poupança de Custos
- 02 Formato JSONL, custom_id e Carregamento de Ficheiros
- 03 Criar um Trabalho em Lote, Acompanhar o Estado e Transferir Resultados
- 04 Agrupamento Inline: Até 10K Pedidos Sem Ficheiro
- 05 Reduzir a Latência com Saídas Previstas
- 06 Casos de Uso Reais para Saídas Previstas
- 07 Implementar Saídas Previstas em Python
- 08 Citações com Fontes: Objeto de Referência e RAG
- 09 Implementar Citações em Python
- 10 Ancorar respostas nas fontes e reduzir alucinações
- 11 Introdução à Observabilidade: Rastros, Avaliadores e Avaliações
- 12 Explorar: Pesquisar e inspecionar registos de produção
- 13 Juízes: Avaliação Automatizada de LLM
- 14 Avaliações offline: medir antes de implementar
- 15 Conjuntos de dados: Criar conjuntos de avaliação e iterar
- 16 Pipeline de ponta a ponta: traces, juízes, conjuntos de dados, avaliações