Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Minska latens med förutsägda utdata

Lektion 5 av 16 Uppdaterad 29 juli 2026 Avancerad
På denna sida
  1. Latensproblemet i produktion
  2. Konceptet: Förutsäg för att accelerera
  3. Hur det fungerar tekniskt
  4. Kompatibla modeller
  5. När ska du använda Förutsägda utdata?
  6. Påverkan på prissättning
  7. Viktiga punkter

Latensproblemet i produktion

I produktion räknas varje millisekund. När en användare väntar på ett svar från en språkmodell (LLM) för att göra en mindre kod- eller textändring, kan den vanliga latensen vid token-för-token-generering kännas onödigt hög. Om 90 % av det förväntade svaret redan är känt, varför ska modellen då generera allt på nytt?

Förutsägda utdata löser detta problem. Genom att ge modellen en förutsägelse av utdatan låter du den allokera beräkningsresurser endast till de delar som faktiskt skiljer sig, vilket drastiskt minskar svarstiden.

Konceptet: Förutsäg för att accelerera

Principen är enkel. Du känner redan till större delen av det förväntade svaret – till exempel en befintlig kodfil du vill modifiera något. Istället för att låta modellen generera allt på nytt, skickar du det förväntade innehållet via parametern prediction:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[...],
    prediction={
        "type": "content",
        "content": expected_content
    }
)

Modellen använder sedan detta innehåll som en baslinje. Den ägnar sina beräkningsresurser åt tokens som skiljer sig från förutsägelsen, vilket påskyndar genereringen avsevärt.

Hur det fungerar tekniskt

Mekanismen bygger på accelererad validering snarare än förkortad generering. Modellen tar emot din förutsägelse som arbetsmaterial och fortsätter sedan med genereringen genom att jämföra sitt utdata med det förutsagda innehållet. När den token den håller på att producera matchar förutsägelsen sker valideringen nästan omedelbart – den fullständiga beräkningen för generering undviks. Så snart utdatan avviker från förutsägelsen återgår modellen till vanlig token-för-token-generering tills den eventuellt åter ansluter till det förutsagda innehållet.

Det praktiska resultatet är twofold. För det första bevaras svars kvaliteten strikt: modellen “kopierar” inte din förutsägelse; den validerar eller avviker från den baserat på sin egen bedömning. För det andra är tidsbesparingen proportionell mot överlappningsgraden – en förutsägelse som är 90 % korrekt påskyndar processen avsevärt, medan en förutsägelse som bara är 40 % korrekt ger nästan ingen fördel.

Kompatibla modeller

Från och med april 2026 stöder två modeller Förutsägda utdata: mistral-large-latest för komplexa redigerings- och resonemangsuppgifter, samt codestral-latest, optimerad för kodredigering. Den senare står för de flesta användningsfall i verkliga scenarier, eftersom kodredigering är det ideala scenariot för förutsägelse.

När ska du använda Förutsägda utdata?

Kriteriet kokar ner till en fråga: Känner du redan till större delen av utdatan? När du ber Codestral att byta namn på en variabel i en fil på 400 rader är det förväntade svaret samma fil med endast några få förekomster ändrade – skicka den ursprungliga filen som förutsägelse, så blir genereringen nästan omedelbar. Samma logik gäller för att korrigera en mening i ett långt dokument, fylla i en mall med en fast struktur eller modifiera en nyckel i en stor JSON-fil: i alla dessa fall är mer än 90 % av utdatan känd i förväg, och det är precis detta som förutsägelsen utnyttjar.

Å andra sidan förlorar funktionen allt värde när utdatan är oförutsägbar – kreativa svar, brainstorming eller öppna sammanfattningar. Om det faktiska innehållet avviker från förutsägelsen för mer än hälften av tokenarna försvinner fördelen, och modellen lägger sin tid på att notera avvikelser. Observera också en teknisk begränsning: Förutsägda utdata fungerar inte med parametern n (flera genereringar).

Påverkan på prissättning

Goda nyheter: Förutsägda utdata har ingen påverkan på prissättningen. Du betalar inget extra för att tillhandahålla en förutsägelse. Du betalar endast för de tokens som faktiskt genereras, som vanligt.

Viktiga punkter

  • Förutsägda utdata minskar latens genom att utnyttja förutsägbart innehåll
  • Parametern prediction ger modellen det förväntade utdatat som en baslinje
  • Två kompatibla modeller: mistral-large-latest och codestral-latest
  • Idealt för kodredigering, textmodifiering och mallar
  • Ingen extra kostnad – kvaliteten bevaras