Redenering hergebruiken in volgende verzoeken
Op deze pagina
Thought Cache
Een van de krachtigste functies van het versleutelde redeneersysteem van xAI is de mogelijkheid om redeneringen uit een vorig verzoek opnieuw in een nieuw verzoek te injecteren. Dit mechanisme, vergelijkbaar met een “thought cache”, stelt het model in staat om de redenering daar voort te zetten waar het gebleven was.
Hoe het werkt
Het proces bestaat uit drie stappen:
- Initieel verzoek: u stuurt een vraag met
include=["reasoning.encrypted_content"] - Opslag: u bewaart de versleutelde inhoud die in het antwoord wordt teruggegeven
- Volgend verzoek: u injecteert deze versleutelde inhoud opnieuw in het nieuwe verzoek
Het model herkent de versleutelde redenering en gebruikt deze als context voor zijn nieuwe reflectie. Het begint niet vanaf nul: het heeft “geheugen” van zijn eerdere denkproces.
Stap-voor-stap implementatie
Stap 1: Initieel verzoek met ophalen van redenering
from openai import OpenAI
client = OpenAI(
api_key="your-api-key",
base_url="https://api.x.ai/v1"
)
# Eerste verzoek
response_1 = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Explain Bayes' theorem and give a medical example.",
include=["reasoning.encrypted_content"]
)
# Versleutelde redenering extraheren
encrypted_reasoning = None
for item in response_1.output:
if item.type == "reasoning":
encrypted_reasoning = item.encrypted_content
Stap 2: Volgend verzoek met herinjectie
# Tweede verzoek dat profiteert van de eerdere redenering
response_2 = client.responses.create(
model="grok-4.20-0309-reasoning",
input=[
# Versleutelde redenering van het vorige verzoek opnieuw injecteren
{
"type": "reasoning",
"encrypted_content": encrypted_reasoning
},
# Nieuw bericht
{
"type": "message",
"role": "user",
"content": "Now, apply this theorem to a COVID test with 95% sensitivity and 99% specificity."
}
],
include=["reasoning.encrypted_content"]
)
Voordelen van de Thought Cache
Continuïteit in redenering
Het model hoeft de volledige denkcontext niet opnieuw op te bouwen. Als het al over de stelling van Bayes heeft geredeneerd, kan het deze direct toepassen op het nieuwe probleem zonder de uitleg te herhalen.
Besparing op tokens
Door versleutelde redenering te hergebruiken, voorkomt u dat het model tokens voor redenering opnieuw genereert voor het deel dat al behandeld is. Bij lange gesprekken kunnen de besparingen aanzienlijk zijn.
Consistentie
Het model behoudt consistentie in zijn opeenvolgende antwoorden. Het zal zichzelf niet tegenspreken, omdat het het spoor van zijn eigen redenering bezit.
Beperkingen en restricties
- Hetzelfde model: versleutelde redenering van het ene model kan niet worden hergebruikt door een ander model. Redenering geproduceerd door grok-4.5 werkt niet met grok-4.20-0309-reasoning.
- Grootte: versleutelde inhoud kan omvangrijk zijn. Bewaak de grootte van uw verzoeken.
- Verloop: versleutelde inhoud kan een beperkte geldigheidsduur hebben. Sla het niet oneindig op zonder controle.
- Geen wijziging: u kunt de versleutelde inhoud niet wijzigen. Elke wijziging maakt het ongeldig.
Toepassingen in productie
Complexe gesprekken met meerdere beurten
Voor een chatbot die wiskundeproblemen oplost over meerdere uitwisselingen heen, houdt de thought cache de rode draad van de redenering vast zonder dat alles opnieuw in de context verzonden hoeft te worden.
Validatiepijplijn
Een pijplijn die code in meerdere passes analyseert, kan redenering uit de eerste pass (problemen identificeren) hergebruiken voor de tweede pass (oplossingen voorstellen).
Interactieve tutor
Een tutorsysteem kan de redenering van het model over het uitleggen van een concept opslaan en deze vervolgens hergebruiken wanneer de student vervolgvragen stelt.
Belangrijkste punten
- Versleutelde redenering kan via het veld
inputopnieuw worden geïnjecteerd in volgende verzoeken - Dit mechanisme behoudt de continuïteit van de redenering zonder tokens opnieuw te genereren
- Versleutelde redenering is gebonden aan het model dat deze heeft geproduceerd
- Wijzig de versleutelde inhoud nooit: deze wordt dan ongeldig
- Nuttig voor gesprekken met meerdere beurten, pijplijnen en interactieve systemen