Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

Verlaag de latentie met voorspelde uitvoer

Les 5 van 16 Bijgewerkt op 29 juli 2026 Gevorderd
Op deze pagina
  1. Het latentieprobleem in productie
  2. Het concept: voorspellen om te versnellen
  3. Hoe het technisch werkt
  4. Compatibele modellen
  5. Wanneer u Voorspelde Uitvoer moet gebruiken
  6. Impact op de prijsstelling
  7. Belangrijkste punten

Het latentieprobleem in productie

In een productieomgeving telt elke milliseconde. Wanneer een gebruiker wacht op een antwoord van een LLM om een kleine code- of tekstwijziging aan te brengen, kan de standaardlatentie voor token-voor-token-generatie als buitensporig worden ervaren. Als 90% van de verwachte uitvoer al bekend is, waarom zou het model deze dan volledig opnieuw moeten genereren?

Voorspelde uitvoer (Predicted Outputs) lost dit probleem op. Door het model een voorspelling van de uitvoer te geven, laat u het rekenmiddelen alleen toewijzen aan de onderdelen die daadwerkelijk verschillen, wat de responstijd drastisch verlaagt.

Het concept: voorspellen om te versnellen

Het principe is eenvoudig. U kent het grootste deel van het verwachte antwoord al—bijvoorbeeld een bestaand codebestand dat u licht wilt wijzigen. In plaats van het model alles opnieuw te laten genereren, geeft u de verwachte inhoud door via de parameter prediction:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[...],
    prediction={
        "type": "content",
        "content": expected_content
    }
)

Het model gebruikt deze inhoud vervolgens als basislijn. Het wijdt zijn rekenmiddelen toe aan tokens die afwijken van de voorspelling, wat de generatie aanzienlijk versnelt.

Hoe het technisch werkt

Het mechanisme berust op versnelde validatie in plaats van verkorte generatie. Het model ontvangt uw voorspelling als werkmateriaal en gaat vervolgens over tot generatie door zijn uitvoer te vergelijken met de voorspelde inhoud. Zodra het token dat het op het punt staat te produceren overeenkomt met de voorspelling, is de validatie vrijwel onmiddellijk—de volledige generatieberekening vindt niet plaats. Zodra de uitvoer afwijkt van de voorspelling, hervat het de normale token-voor-token-generatie totdat het eventueel weer aansluit bij de voorspelde inhoud.

Het praktische resultaat is tweeledig. Ten eerste blijft de kwaliteit van het antwoord strikt behouden: het model “kopieert” uw voorspelling niet; het valideert deze of wijkt ervan af op basis van zijn eigen oordeel. Ten tweede zijn de tijdwinsten evenredig met de overlap: een voorspelling die voor 90% accuraat is, versnelt de zaken aanzienlijk, terwijl een voorspelling die slechts 40% accuraat is, bijna geen voordeel biedt.

Compatibele modellen

Vanaf april 2026 ondersteunen twee modellen Voorspelde Uitvoer: mistral-large-latest voor complexe bewerkings- en redeneertaken, en codestral-latest, geoptimaliseerd voor codebewerking. Dit laatste model is goed voor de meeste use cases in de praktijk, aangezien codebewerking het ideale scenario is voor voorspelling.

Wanneer u Voorspelde Uitvoer moet gebruiken

Het criterium komt neer op één vraag: kent u het grootste deel van de uitvoer al? Wanneer u Codestral vraagt om een variabele te hernoemen in een bestand van 400 regels, is het verwachte antwoord datzelfde bestand met slechts een paar gewijzigde occurrences—geef het oorspronkelijke bestand door als voorspelling en de generatie wordt vrijwel onmiddellijk. Dezelfde logica geldt voor het corrigeren van een zin in een lang document, het invullen van een sjabloon met een vaste structuur, of het wijzigen van een sleutel in een groot JSON-bestand: in al deze gevallen is meer dan 90% van de uitvoer vooraf bekend, en daar maakt voorspelling precies gebruik van.

Omgekeerd verliest de functie alle waarde wanneer de uitvoer onvoorspelbaar is—creatieve antwoorden, brainstormsessies of open samenvattingen. Als de feitelijke inhoud voor meer dan de helft van de tokens afwijkt van de voorspelling, verdwijnt het voordeel en besteedt het model zijn tijd aan het noteren van discrepanties. Houd ook rekening met een technische beperking: Voorspelde Uitvoer werkt niet met de parameter n (meervoudige generaties).

Impact op de prijsstelling

Goed nieuws: Voorspelde Uitvoer heeft geen invloed op de prijsstelling. U betaalt geen extra kosten voor het verstrekken van een voorspelling. U betaalt alleen voor de daadwerkelijk gegenereerde tokens, zoals gebruikelijk.

Belangrijkste punten

  • Voorspelde Uitvoer verlaagt de latentie door gebruik te maken van voorspelbare inhoud
  • De parameter prediction geeft het model de verwachte uitvoer als basislijn
  • Twee compatibele modellen: mistral-large-latest en codestral-latest
  • Ideaal voor codebewerking, tekstwijziging en sjablonen
  • Geen extra kosten—de kwaliteit blijft behouden