Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Svensk version

Produktion, utvärderingar och optimering

Täcker latens, prompt-cachning, Batch API, utvärderingar, komprimering och komplett produktionsarkitektur.

20 lektioner ca. 2 h Avancerad

Vad du lär dig

  • Mät latensen från början till slut för ett anrop och identifiera prioriterade optimeringsmöjligheter
  • Minska kostnaderna i stor skala med prompt-cachning, Predicted Outputs och Batch API
  • Designa en asynkron arkitektur baserad på köer, parallellism och bakgrundsläge
  • Behärska långa konversationer genom komprimering, token-räkning och budgetering
  • Automatisera utvärderingar med Evals-ramverket och integrera dem i en CI/CD-pipeline

Kursöversikt

Målgrupp
Utvecklare, ingenjörer och integratörer som vill använda ChatGPT via API i sina applikationer.
Förkunskaper
Bekräftad erfarenhet av applikationsutveckling och distribution till produktion.
Studietid
2 h — 20 lektioner
Upplägg
100 % online självstudiekurs, tillgänglig dygnet runt från en webbläsare. Framsteg sparas så att du kan fortsätta när som helst. Beräknad tid: 2 h.
Bedömning
Självutvärdering baserad på de viktigaste slutsatserna som avslutar varje lektion, samt direkt implementering av exempel på dina egna fall. Ett avslutande quiz med 5 rättade frågor i slutet av den sista lektionen validerar inlärningen.
Tillgänglighet
Självstudiekurs tillgänglig för personer med funktionsnedsättning: textinnehåll kompatibelt med skärmläsare, tangentbordsnavigering och kontraster som följer riktlinjer. För behov av anpassning, mejla [email protected].
Pris
Gratis

Kursens innehåll

  1. 01 Mät och analysera latens
  2. 02 Optimering från början till slut: från prompt till nätverk
  3. 03 Prompt-cachning: Återanvänd beräkningar
  4. 04 Sorties prédites : des réponses plus rapides
  5. 05 Strömning optimerad
  6. 06 Batch API : traitement asynchrone massif
  7. 07 Arkitektur asynkron och köer
  8. 08 Parallelism och samtidighet
  9. 09 Läge för bakgrundsbearbetning
  10. 10 Optimera kostnader i stor skala
  11. 11 Kompaktering: Komprimera långa konversationer
  12. 12 Räkning och budgetering av tokens
  13. 13 Avancerad prompt-cachning
  14. 14 Stratégier för kontexthantering hos agenter
  15. 15 Utvärdera dina prompts: Metoder, bedömare och migrering till Promptfoo
  16. 16 Skapa anpassade utvärderingar
  17. 17 Mätetal och referensvärden
  18. 18 CI/CD för AI: Automatiserade utvärderingar
  19. 19 Moderering av innehåll i stor skala
  20. 20 Arkitektur för produktion: övervakning, avisering, skalning