Återanvänd resonemang i efterföljande förfrågningar
På denna sida
Tankecache
En av de mest kraftfulla funktionerna i xAI:s krypterade resonemangssystem är möjligheten att återinjicera resonemang från en tidigare förfrågan in i en ny. Denna mekanism, som liknar en “tankecache”, låter modellen plocka upp sitt resonemang där den slutade.
Hur det fungerar
Processen består av tre steg:
- Initial förfrågan: du skickar en fråga med
include=["reasoning.encrypted_content"] - Lagring: du behåller det krypterade innehåll som returneras i svaret
- Efterföljande förfrågan: du återinjicerar detta krypterade innehåll i den nya förfrågan
Modellen känner igen det krypterade resonemanget och använder det som kontext för sin nya reflektion. Den börjar inte från början: den har “minne” av sin tidigare tankeprocess.
Steg-för-steg-implementering
Steg 1: Initial förfrågan med hämtning av resonemang
from openai import OpenAI
client = OpenAI(
api_key="your-api-key",
base_url="https://api.x.ai/v1"
)
# First request
response_1 = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Explain Bayes' theorem and give a medical example.",
include=["reasoning.encrypted_content"]
)
# Extract encrypted reasoning
encrypted_reasoning = None
for item in response_1.output:
if item.type == "reasoning":
encrypted_reasoning = item.encrypted_content
Steg 2: Efterföljande förfrågan med återinjicering
# Second request that benefits from the previous reasoning
response_2 = client.responses.create(
model="grok-4.20-0309-reasoning",
input=[
# Reinject encrypted reasoning from the previous request
{
"type": "reasoning",
"encrypted_content": encrypted_reasoning
},
# New message
{
"type": "message",
"role": "user",
"content": "Now, apply this theorem to a COVID test with 95% sensitivity and 99% specificity."
}
],
include=["reasoning.encrypted_content"]
)
Fördelar med tankecachen
Kontinuitet i resonemanget
Modellen behöver inte återskapa hela tankekontexten. Om den redan har resonerat kring Bayes sats kan den applicera den direkt på det nya problemet utan att repetera demonstrationen.
Besparing av tokens
Genom att återanvända krypterat resonemang förhindrar du att modellen genererar om resonemangstokens för den del som redan är täckt. I långa konversationer kan besparingarna vara betydande.
Konsistens
Modellen behåller konsistensen över sina successiva svar. Den kommer inte att motsäga sig själv eftersom den har spåret av sitt eget resonemang.
Begränsningar och restriktioner
- Samma modell: krypterat resonemang från en modell kan inte återanvändas av en annan modell. Resonemang producerat av grok-4.5 fungerar inte med grok-4.20-0309-reasoning.
- Storlek: krypterat innehåll kan vara stort. Övervaka storleken på dina förfrågningar.
- Utgång: krypterat innehåll kan ha en begränsad giltighetstid. Lagra det inte på obestämd tid utan att kontrollera.
- Ingen modifiering: du kan inte ändra det krypterade innehållet. Varje modifiering gör det ogiltigt.
Användningsområden i produktion
Komplexa flerstegskonversationer
För en chattbotbott som löser matematikproblem över flera utbyten upprätthåller tankecachen tråden i resonemanget utan att behöva skicka om allt i kontexten.
Valideringspipeline
En pipeline som analyserar kod i flera omgångar kan återanvända resonemang från den första omgången (identifiering av problem) för den andra omgången (föreslå lösningar).
Interaktiv handledare
Ett handledningssystem kan lagra modellens resonemang kring förklaringen av ett begrepp och sedan återanvända det när eleven ställer följdfrågor.
Viktiga punkter
- Krypterat resonemang kan återinjiceras i efterföljande förfrågningar via fältet
input - Denna mekanism upprätthåller kontinuiteten i resonemanget utan att generera om tokens
- Krypterat resonemang är bundet till den modell som producerade det
- Modifiera aldrig det krypterade innehållet: det blir ogiltigt
- Användbart för flerstegskonversationer, pipelines och interaktiva system