Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Reducér ventetid med forudsagte outputs

Lektion 5 af 16 Opdateret 29. juli 2026 Avanceret
På denne side
  1. Ventetidsproblemet i produktion
  2. Konceptet: Forudsig for at accelerere
  3. Sådan fungerer det teknisk
  4. Kompatible modeller
  5. Hvornår skal du bruge forudsagte outputs?
  6. Påvirkning af prissætning
  7. Vigtige pointer

Ventetidsproblemet i produktion

I produktion tæller hvert millisekund. Når en bruger venter på et svar fra en LLM for at foretage en mindre kode- eller tekstredigering, kan den sædvanlige latens ved token-for-token-generering føles unødvendig lang. Hvis 90 % af det forventede output allerede er kendt, hvorfor skal modellen så regenerere det hele?

Forudsagte outputs løser dette problem. Ved at give modellen en forudsigelse af outputtet, får du den til kun at allokerere beregningsressourcer til de dele, der faktisk afviger, hvilket reducerer svartiden markant.

Konceptet: Forudsig for at accelerere

Princippet er simpelt. Du kender allerede størstedelen af det forventede svar – for eksempel en eksisterende kodefil, du ønsker at modificere lidt. I stedet for at lade modellen regenerere alt, sender du det forventede indhold via parameteren prediction:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[...],
    prediction={
        "type": "content",
        "content": expected_content
    }
)

Modellen bruger derefter dette indhold som udgangspunkt. Den dedikerer sine beregningsressourcer til tokens, der afviger fra forudsigelsen, hvilket øger generationshastigheden betydeligt.

Sådan fungerer det teknisk

Mekanismen baserer sig på accelereret validering snarere end forkortet generering. Modellen modtager din forudsigelse som arbejdsmateriale og fortsætter derefter med genereringen ved at sammenligne sit output med det forudsagte indhold. Hver gang det token, den er ved at producere, matcher forudsigelsen, sker valideringen næsten øjeblikkeligt – den fulde beregning til generering undgås. Så snart outputtet afviger fra forudsigelsen, genoptager den den normale token-for-token-generering, indtil den eventuelt igen flugter med det forudsagte indhold.

Det praktiske resultat er dobbelt. For det første bevares svarkvaliteten strengt: modellen „kopierer” ikke din forudsigelse; den validerer eller afviger fra den baseret på sin egen vurdering. For det andet er tidsbesparelsen proportional med overlapningsgraden – en forudsigelse, der er 90 % nøjagtig, fremskynder processen markant, mens en forudsigelse, der kun er 40 % nøjagtig, næsten ikke giver nogen fordel.

Kompatible modeller

Pr. april 2026 understøtter to modeller forudsagte outputs: mistral-large-latest til komplekse redigerings- og ræsonnementsopgaver samt codestral-latest, der er optimeret til koderedigering. Sidstnævnte dækker de fleste brugsscenarier i praksis, da koderedigering er det ideelle scenarie for forudsigelse.

Hvornår skal du bruge forudsagte outputs?

Kriteriet kan koges ned til ét spørgsmål: Kender du allerede størstedelen af outputtet? Når du beder Codestral om at omdøbe en variabel i en fil på 400 linjer, er det forventede svar den samme fil med kun få ændrede forekomster – send den originale fil som forudsigelse, så bliver genereringen næsten øjeblikkelig. Den samme logik gælder for korrektion af en sætning i et langt dokument, udfyldning af en skabelon med fast struktur eller ændring af en nøgle i en stor JSON-fil: I alle disse tilfælde er mere end 90 % af outputtet kendt på forhånd, og det er præcis det, forudsigelsen udnytter.

Omvendt mister funktionen al værdi, når outputtet er uforudsigeligt – kreative svar, brainstorming eller åbne opsummeringer. Hvis det faktiske indhold afviger fra forudsigelsen for mere end halvdelen af tokens, forsvinder fordelen, og modellen bruger sin tid på at notere uoverensstemmelser. Bemærk også en teknisk begrænsning: Forudsagte outputs fungerer ikke med parameteren n (flere generationer).

Påvirkning af prissætning

Gode nyheder: Forudsagte outputs har ingen indvirkning på prissætningen. Du betaler ikke ekstra for at levere en forudsigelse. Du betaler kun for de tokens, der faktisk genereres, som sædvanligt.

Vigtige pointer

  • Forudsagte outputs reducerer ventetid ved at udnytte forudsigeligt indhold
  • Parameteren prediction giver modellen det forventede output som udgangspunkt
  • To kompatible modeller: mistral-large-latest og codestral-latest
  • Ideelt til koderedigering, tekstmodifikation og skabeloner
  • Ingen ekstra omkostninger – kvaliteten bevares