Svensk version
Produktion, utvärderingar och optimering
Täcker latens, prompt-cachning, Batch API, utvärderingar, komprimering och komplett produktionsarkitektur.
20 lektioner ca. 2 h Avancerad
Vad du lär dig
- Mät latensen från början till slut för ett anrop och identifiera prioriterade optimeringsmöjligheter
- Minska kostnaderna i stor skala med prompt-cachning, Predicted Outputs och Batch API
- Designa en asynkron arkitektur baserad på köer, parallellism och bakgrundsläge
- Behärska långa konversationer genom komprimering, token-räkning och budgetering
- Automatisera utvärderingar med Evals-ramverket och integrera dem i en CI/CD-pipeline
Kursöversikt
- Målgrupp
- Utvecklare, ingenjörer och integratörer som vill använda ChatGPT via API i sina applikationer.
- Förkunskaper
- Bekräftad erfarenhet av applikationsutveckling och distribution till produktion.
- Studietid
- 2 h — 20 lektioner
- Upplägg
- 100 % online självstudiekurs, tillgänglig dygnet runt från en webbläsare. Framsteg sparas så att du kan fortsätta när som helst. Beräknad tid: 2 h.
- Bedömning
- Självutvärdering baserad på de viktigaste slutsatserna som avslutar varje lektion, samt direkt implementering av exempel på dina egna fall. Ett avslutande quiz med 5 rättade frågor i slutet av den sista lektionen validerar inlärningen.
- Tillgänglighet
- Självstudiekurs tillgänglig för personer med funktionsnedsättning: textinnehåll kompatibelt med skärmläsare, tangentbordsnavigering och kontraster som följer riktlinjer. För behov av anpassning, mejla [email protected].
- Pris
- Gratis
Kursens innehåll
- 01 Mät och analysera latens
- 02 Optimering från början till slut: från prompt till nätverk
- 03 Prompt-cachning: Återanvänd beräkningar
- 04 Sorties prédites : des réponses plus rapides
- 05 Strömning optimerad
- 06 Batch API : traitement asynchrone massif
- 07 Arkitektur asynkron och köer
- 08 Parallelism och samtidighet
- 09 Läge för bakgrundsbearbetning
- 10 Optimera kostnader i stor skala
- 11 Kompaktering: Komprimera långa konversationer
- 12 Räkning och budgetering av tokens
- 13 Avancerad prompt-cachning
- 14 Stratégier för kontexthantering hos agenter
- 15 Utvärdera dina prompts: Metoder, bedömare och migrering till Promptfoo
- 16 Skapa anpassade utvärderingar
- 17 Mätetal och referensvärden
- 18 CI/CD för AI: Automatiserade utvärderingar
- 19 Moderering av innehåll i stor skala
- 20 Arkitektur för produktion: övervakning, avisering, skalning