Reutilizarea raționamentului în cererile ulterioare
Pe această pagină
Cache de gândire
Una dintre cele mai puternice funcționalități ale sistemului de raționament criptat dezvoltat de xAI este capacitatea de a reinjecta raționamentul dintr-o cerere anterioară într-una nouă. Acest mecanism, similar unui „cache de gândire“, permite modelului să își reia raționamentul exact de unde l-a lăsat.
Cum funcționează
Procesul constă în trei pași:
- Cerea inițială: trimiteți o întrebare cu parametrul
include=["reasoning.encrypted_content"] - Stocare: păstrați conținutul criptat returnat în răspuns
- Cerea ulterioară: reinjectați acest conținut criptat în noua cerere
Modelul recunoaște raționamentul criptat și îl utilizează drept context pentru noua sa reflecție. Nu pornește de la zero: dispune de o „memorie“ a procesului său de gândire anterior.
Implementare pas cu pas
Pasul 1: Cererea inițială cu preluarea raționamentului
from openai import OpenAI
client = OpenAI(
api_key="your-api-key",
base_url="https://api.x.ai/v1"
)
# Prima cerere
response_1 = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Explain Bayes' theorem and give a medical example.",
include=["reasoning.encrypted_content"]
)
# Extrage raționamentul criptat
encrypted_reasoning = None
for item in response_1.output:
if item.type == "reasoning":
encrypted_reasoning = item.encrypted_content
Pasul 2: Cererea ulterioară cu reinjecție
# A doua cerere care beneficiază de raționamentul anterior
response_2 = client.responses.create(
model="grok-4.20-0309-reasoning",
input=[
# Reinjecția raționamentului criptat din cererea anterioară
{
"type": "reasoning",
"encrypted_content": encrypted_reasoning
},
# Mesaj nou
{
"type": "message",
"role": "user",
"content": "Now, apply this theorem to a COVID test with 95% sensitivity and 99% specificity."
}
],
include=["reasoning.encrypted_content"]
)
Beneficiile cache-ului de gândire
Continuitatea raționamentului
Modelul nu trebuie să reconstruiască întregul context de gândire. Dacă a raționat deja despre teorema lui Bayes, o poate aplica direct noii probleme fără a reia demonstrația.
Economie de tokeni
Prin reutilizarea raționamentului criptat, evitați regenerarea tokenilor de raționament pentru partea deja acoperită. În conversațiile lungi, economiile pot fi semnificative.
Coerență
Modelul își menține coerența între răspunsurile succesive. Nu se va contrazice, deoarece dispune de urma propriului său raționament.
Constrângeri și limitări
- Același model: raționamentul criptat generat de un model nu poate fi reutilizat de un alt model. Raționamentul produs de grok-4.5 nu va funcționa cu grok-4.20-0309-reasoning.
- Dimensiune: conținutul criptat poate fi voluminos. Monitorizați dimensiunea cererilor dumneavoastră.
- Expirare: conținutul criptat poate avea o perioadă de valabilitate limitată. Nu îl stocați la infinit fără verificare.
- Fără modificare: nu puteți altera conținutul criptat. Orice modificare îl invalidează.
Cazuri de utilizare în producție
Conversații complexe pe mai multe tururi
Pentru un chatbot care rezolvă probleme matematice pe parcursul mai multor schimburi, cache-ul de gândire menține firul logic fără a fi nevoie să retrimiteți totul în context.
Pipeline de validare
Un pipeline care analizează codul în mai multe etape poate reutiliza raționamentul din prima etapă (identificarea problemelor) pentru a doua etapă (propunerea de soluții).
Tutore interactiv
Un sistem de tutoriat poate stoca raționamentul modelului privind explicarea unui concept, apoi îl poate reutiliza atunci când studentul pune întrebări de follow-up.
Puncte cheie
- Raționamentul criptat poate fi reinjectat în cererile ulterioare prin câmpul
input - Acest mecanism menține continuitatea raționamentului fără a regenera tokeni
- Raționamentul criptat este legat de modelul care l-a produs
- Nu modificați niciodată conținutul criptat: devine invalid
- Util pentru conversații pe mai multe tururi, pipeline-uri și sisteme interactive