Az érvelés újrafelhasználása későbbi kérésekben
Ezen az oldalon
Gondolat-gyorsítótár (Thought Cache)
Az xAI titkosított érvelési rendszerének egyik legerősebb funkciója a korábbi kérésekből származó érvelés újrabefecskendezésének lehetősége egy új kérésbe. Ez a mechanizmus, amely egyfajta „gondolat-gyorsítótárként“ működik, lehetővé teszi a modell számára, hogy ott folytassa az érvelést, ahol abbahagyta.
Hogyan működik?
A folyamat három lépésből áll:
- Kezdeti kérés: küldesz egy kérdést az
include=["reasoning.encrypted_content"]paraméterrel. - Tárolás: elmented a válaszban visszaadott titkosított tartalmat.
- Következő kérés: visszainjektálod ezt a titkosított tartalmat az új kérésbe.
A modell felismeri a titkosított érvelést, és kontextusként használja fel az új reflexiójához. Nem kezd elölről mindent: „emlékszik“ a korábbi gondolatmenetére.
Lépésről lépésre megvalósítás
1. lépés: Kezdeti kérés az érvelés lekérésével
from openai import OpenAI
client = OpenAI(
api_key="your-api-key",
base_url="https://api.x.ai/v1"
)
# Első kérés
response_1 = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Explain Bayes' theorem and give a medical example.",
include=["reasoning.encrypted_content"]
)
# Titkosított érvelés kinyerése
encrypted_reasoning = None
for item in response_1.output:
if item.type == "reasoning":
encrypted_reasoning = item.encrypted_content
2. lépés: Következő kérés az újrabefecskendezéssel
# Második kérés, amely profitál az előző érvelésből
response_2 = client.responses.create(
model="grok-4.20-0309-reasoning",
input=[
# Az előző kérésből származó titkosított érvelés újrabefecskendezése
{
"type": "reasoning",
"encrypted_content": encrypted_reasoning
},
# Új üzenet
{
"type": "message",
"role": "user",
"content": "Now, apply this theorem to a COVID test with 95% sensitivity and 99% specificity."
}
],
include=["reasoning.encrypted_content"]
)
A gondolat-gyorsítótár előnyei
Az érvelés folytonossága
A modellnek nem kell újjáépítenie a teljes gondolatkontextust. Ha már érvelt a Bayes-tétel mellett, azt közvetlenül alkalmazhatja az új problémára anélkül, hogy újra levezetné a demonstrációt.
Token-megtakarítás
A titkosított érvelés újrafelhasználásával megakadályozod, hogy a modell újra generálja az érvelési tokeneket a már lefedett részekhez. Hosszú beszélgetések esetén a megtakarítás jelentős lehet.
Konzisztencia
A modell megtartja a konzisztenciát a egymást követő válaszai között. Nem mond ellent önmagának, mivel rendelkezik a saját érvelésének nyomvonalával.
Korlátok és limitációk
- Ugyanaz a modell: egy modellből származó titkosított érvelés nem használható fel egy másik modell által. A grok-4.5 által előállított érvelés nem működik a grok-4.20-0309-reasoning modellel.
- Méret: a titkosított tartalom nagy méretű lehet. Figyeld a kéréseid méretét.
- Lejárat: a titkosított tartalom érvényességi ideje korlátozott lehet. Ne tárold végtelen ideig ellenőrzés nélkül.
- Nincs módosítás: nem módosíthatod a titkosított tartalmat. Bármilyen változtatás érvénytelenné teszi.
Gyakorlati alkalmazási esetek
Komplex, több körös beszélgetések
Egy matematikai problémákat több váltásban megoldó chatbot esetén a gondolat-gyorsítótár fenntartja az érvelés fonalát anélkül, hogy mindent újra el kellene küldeni a kontextusban.
Ellenőrzési folyamat (Pipeline)
Egy több lépésben kódokat elemző folyamat újrafelhasználhatja az első lépésből (problémák azonosítása) származó érvelést a második lépéshez (javaslatok tétele a javításokra).
Interaktív tutor
Egy tutoráló rendszer elmentheti a modell érvelését egy fogalom magyarázatáról, majd újrafelhasználhatja azt, amikor a tanuló követő kérdéseket tesz fel.
Főbb megállapítások
- A titkosított érvelés újrabefecskendezhető a későbbi kérésekbe az
inputmezőn keresztül. - Ez a mechanizmus fenntartja az érvelés folytonosságát a tokenek újratermelése nélkül.
- A titkosított érvelés ahhoz a modellhez van kötve, amely előállította.
- Soha ne módosítsd a titkosított tartalmat: érvénytelenné válik.
- Hasznos több körös beszélgetésekhez, folyamatokhoz és interaktív rendszerekhez.