Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Csökkentsd a késleltetést előre jelzett kimenetekkel

5. lecke 16 közül Frissítve 2026. július 29. Haladó
Ezen az oldalon
  1. A késleltetés problémája éles környezetben
  2. A koncepció: Előrejelzés a gyorsítás érdekében
  3. Hogyan működik technikailag?
  4. Kompatibilis modellek
  5. Mikor használd az előre jelzett kimeneteket?
  6. Hatás az árazásra
  7. Főbb megállapítások

A késleltetés problémája éles környezetben

Éles környezetben minden ezredmásodperc számít. Amikor egy felhasználónak várnia kell egy LLM-válaszra egy apró kód- vagy szövegszerkesztéshez, a szabványos, tokenenkénti generálás késleltetése túlzottnak tűnhet. Ha a várt kimenet 90%-a már ismert, miért kellene a modellnek az egészet újra generálnia?

Az előre jelzett kimenetek (Predicted Outputs) ezt a problémát oldják meg. Azzal, hogy előrejelzést adsz a modellnek a kimenetről, lehetővé teszed számára, hogy a számítási erőforrásokat csak azokra a részekre fordítsa, amelyek ténylegesen eltérnek, drasztikusan csökkentve ezzel a válaszidőt.

A koncepció: Előrejelzés a gyorsítás érdekében

Az elv egyszerű. Már tudod a várható válasz nagy részét – például egy meglévő kódfájlt, amelyet kissé módosítani szeretnél. Ahelyett, hogy hagynád a modellt mindent újra generálni, átadod neki a várt tartalmat a prediction paraméteren keresztül:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[...],
    prediction={
        "type": "content",
        "content": expected_content
    }
)

A modell ezt a tartalmat alapvonalként használja. A számítási erőforrásait azokra a tokenekre összpontosítja, amelyek eltérnek az előrejelzéstől, ami jelentősen felgyorsítja a generálást.

Hogyan működik technikailag?

A mechanizmus nem a generálás lerövidítésén, hanem a gyorsított ellenőrzésen alapul. A modell megkapja az előrejelzésedet munkanyagként, majd a generálást úgy folytatja, hogy összehasonlítja a kimenetét az előre jelzett tartalommal. Valahányszor a létrehozni kívánt token megegyezik az előrejelzéssel, az ellenőrzés szinte azonnali – a teljes generálási számítási művelet elmarad. Amint a kimenete eltér az előrejelzéstől, visszatér a normál, tokenenkénti generáláshoz mindaddig, amíg esetleg újra igazodik az előre jelzett tartalomhoz.

A gyakorlati eredmény kétféle. Először is, a válasz minősége szigorúan megmarad: a modell nem „másolja“ az előrejelzésedet; a saját ítélőképessége alapján validálja azt vagy tér el tőle. Másodszor, az időmegtakarítás arányos az átfedési rátával: egy 90%-ban pontos előrejelzés jelentősen felgyorsítja a folyamatot, míg egy csak 40%-ban pontos előrejelzés szinte semmilyen előnnyel nem jár.

Kompatibilis modellek

2026 áprilisától két modell támogatja az előre jelzett kimeneteket: a mistral-large-latest a komplex szerkesztési és következtetési feladatokhoz, valamint a codestral-latest, amelyet kifejezetten kódszerkesztésre optimalizáltak. Ez utóbbi fedi le a valós esetek többségét, mivel a kódszerkesztés az ideális forgatókönyv az előrejelzéshez.

Mikor használd az előre jelzett kimeneteket?

A kritérium egyetlen kérdésre vezethető vissza: ismered már a kimenet nagy részét? Amikor arra kéred a Codestralt, hogy nevezzen át egy változót egy 400 soros fájlban, a várt válasz ugyanaz a fájl, csak néhány előfordulással módosítva – add át az eredeti fájlt előrejelzésként, és a generálás szinte azonnali lesz. Ugyanez a logika vonatkozik egy mondat javítására egy hosszú dokumentumban, egy sablon kitöltésére rögzített struktúrával, vagy egy kulcs módosítására egy nagy JSON-fájlban: mindezekben az esetekben a kimenet több mint 90%-a előre ismert, és pontosan ezt használja ki az előrejelzés.

Ezzel szemben a funkció minden értékét elveszíti, ha a kimenet kiszámíthatatlan – kreatív válaszok, ötletelés vagy nyitott végű összefoglalók esetén. Ha a tényleges tartalom a tokenek több mint felénél eltér az előrejelzéstől, az előny megszűnik, és a modell az időt az eltérések rögzítésével tölti. Vegyél figyelembe egy technikai korlátot is: az előre jelzett kimenetek nem működnek az n paraméterrel (többszörös generálás).

Hatás az árazásra

Jó hír: az előre jelzett kimenetek nincsenek hatással az árazásra. Nem fizetsz extra díjat az előrejelzés megadásáért. Csak a ténylegesen generált tokenekért fizetsz, ahogy szokás.

Főbb megállapítások

  • Az előre jelzett kimenetek csökkentik a késleltetést a kiszámítható tartalom kihasználásával
  • A prediction paraméter alapvonalként szolgáltatja a modellnek a várt kimenetet
  • Két kompatibilis modell: mistral-large-latest és codestral-latest
  • Ideális kódszerkesztéshez, szövegmódosításhoz és sablonokhoz
  • Nincs extra költség – a minőség megmarad