Genbrug af ræsonnement i efterfølgende anmodninger
På denne side
Tankecache
En af de mest kraftfulde funktioner i xAI’s krypterede ræsonnementssystem er muligheden for at genindsætte ræsonnement fra en tidligere anmodning i en ny. Denne mekanisme, der ligner en „tankecache”, lader modellen fortsætte sit ræsonnement, hvor den slap.
Sådan fungerer det
Processen består af tre trin:
- Indledende anmodning: Du sender et spørgsmål med
include=["reasoning.encrypted_content"] - Lagring: Du gemmer det krypterede indhold, der returneres i svaret
- Efterfølgende anmodning: Du genindsætter dette krypterede indhold i den nye anmodning
Modellen genkender det krypterede ræsonnement og bruger det som kontekst for sin nye overvejelse. Den starter ikke forfra; den har „hukommelse” om sin tidligere tankegang.
Trin-for-trin-implementering
Trin 1: Indledende anmodning med hentning af ræsonnement
from openai import OpenAI
client = OpenAI(
api_key="your-api-key",
base_url="https://api.x.ai/v1"
)
# Første anmodning
response_1 = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Explain Bayes' theorem and give a medical example.",
include=["reasoning.encrypted_content"]
)
# Uddrag af krypteret ræsonnement
encrypted_reasoning = None
for item in response_1.output:
if item.type == "reasoning":
encrypted_reasoning = item.encrypted_content
Trin 2: Efterfølgende anmodning med genindsættelse
# Anden anmodning, der drager fordel af det tidligere ræsonnement
response_2 = client.responses.create(
model="grok-4.20-0309-reasoning",
input=[
# Genindsæt krypteret ræsonnement fra den tidligere anmodning
{
"type": "reasoning",
"encrypted_content": encrypted_reasoning
},
# Ny besked
{
"type": "message",
"role": "user",
"content": "Now, apply this theorem to a COVID test with 95% sensitivity and 99% specificity."
}
],
include=["reasoning.encrypted_content"]
)
Fordele ved tankecachen
Kontinuitet i ræsonnementet
Modellen behøver ikke at genopbygge hele tankekonteksten. Hvis den allerede har ræsonneret over Bayes’ sætning, kan den anvende den direkte på det nye problem uden at gentage demonstrationen.
Besparelse af tokens
Ved at genbruge krypteret ræsonnement forhindrer du modellen i at regenerere ræsonnementstokens for den del, der allerede er dækket. I lange samtaler kan besparelserne være betydelige.
Konsistens
Modellen opretholder konsistens på tværs af sine efterfølgende svar. Den vil ikke modsige sig selv, da den har sporet sin egen tankegang.
Begrænsninger og restriktioner
- Samme model: Krypteret ræsonnement fra én model kan ikke genbruges af en anden model. Ræsonnement produceret af grok-4.5 fungerer ikke med grok-4.20-0309-reasoning.
- Størrelse: Krypteret indhold kan være stort. Overvåg størrelsen på dine anmodninger.
- Udløb: Krypteret indhold kan have en begrænset gyldighedsperiode. Gem det ikke på ubestemt tid uden at tjekke.
- Ingen ændringer: Du kan ikke ændre det krypterede indhold. Enhver ændring gør det ugyldigt.
Brugstilfælde i produktion
Komplekse samtaler over flere omgange
Til en chatbot, der løser matematikproblemer over flere udvekslinger, opretholder tankecachen den røde tråd i ræsonnementet uden at skulle sende alt igen i konteksten.
Valideringspipeline
En pipeline, der analyserer kode i flere omgange, kan genbruge ræsonnement fra første omgang (identificering af problemer) til anden omgang (foreslåelse af løsninger).
Interaktiv tutor
Et tutorsystem kan gemme modellens ræsonnement om forklaringen af et begreb og derefter genbruge det, når eleven stiller opfølgende spørgsmål.
Vigtige pointer
- Krypteret ræsonnement kan genindsættes i efterfølgende anmodninger via feltet
input - Denne mekanisme opretholder kontinuiteten i ræsonnementet uden at regenerere tokens
- Krypteret ræsonnement er bundet til den model, der producerede det
- Ændr aldrig det krypterede indhold: det bliver ugyldigt
- Nyttigt til samtaler over flere omgange, pipelines og interaktive systemer