Context pe mai multe ture: stocare și criptare
Pe această pagină
Problema contextului între cereri
Într-o conversație pe mai multe ture care implică instrumente, volumul contextului crește rapid. Fiecare apel de instrument își adaugă rezultatele în firul de mesaje, iar raționamentul intern al modelului trebuie păstrat pentru a asigura coerența. Două mecanisme rezolvă această problemă: stocarea la distanță și criptarea lato-client.
Metoda 1: store_messages și previous_response_id
Stocarea la distanță deleagă gestionarea contextului către serverele xAI. Activați store_messages=True în prima cerere, apoi înlănțuiți cererile ulterioare folosind previous_response_id:
# Prima cerere: activare stocare
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Analyze this sales dataset"}],
tools=my_tools,
store_messages=True
)
response_id = response.id # salvați ID-ul
# Cererea următoare: utilizare context stocat
response2 = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "What are the top 3 selling products?"}],
previous_response_id=response_id,
store_messages=True
)
Cu această abordare, nu este nevoie să retrimiteți întregul istoric de mesaje. Serverul xAI păstrează contextul și îl atașează automat. Acest lucru reduce dimensiunea cererii și simplifică codul dumneavoastră.
Avantaje
- Cereri mai ușoare (nu este nevoie să retrimiteți întregul istoric)
- Raționamentul intern al modelului este păstrat automat
- Fără gestionare complexă a stării lato-client
Limitări
- Mesajele sunt stocate pe serverele xAI (aspect de confidențialitate)
response_idtrebuie păstrat între cereri- Stocarea are o perioadă de retenție limitată
Metoda 2: use_encrypted_content
Criptarea lato-client oferă o alternativă pentru cazurile în care doriți să păstrați controlul asupra contextului fără a stoca datele pe serverele xAI:
# Activare conținut criptat
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Analyze this contract"}],
tools=my_tools,
use_encrypted_content=True
)
# Raționamentul și ieșirile instrumentelor sunt returnate criptat
# Le adăugați ca atare în mesajele ulterioare
messages = [
{"role": "user", "content": "Analyze this contract"},
response.choices[0].message, # conține conținut criptat
{"role": "user", "content": "What are the termination clauses?"}
]
response2 = await client.chat.completions.create(
model="grok-4.5",
messages=messages,
use_encrypted_content=True
)
Cu use_encrypted_content=True, raționamentul intern și rezultatele instrumentelor sunt returnate sub formă criptată. Nu le puteți citi, dar le retrimiteți în cererile ulterioare. Serverul le decriptează pentru a menține continuitatea raționamentului.
Avantaje
- Contextul rămâne sub controlul dumneavoastră (fără stocare la distanță)
- Raționamentul intern este păstrat fără a fi expus în text clar
- Compatibil cu politici stricte de confidențialitate
Limitări
- Cererile sunt mai mari (conținutul criptat este inclus)
- Trebuie să gestionați istoricul de mesaje lato-client
Alegerea între cele două metode
Alegerea depinde de contextul dumneavoastră:
- store_messages: preferabil pentru aplicații de chat, asistenți interactivi și cazurile în care simplitatea este prioritară. Contextul este gestionat automat.
- use_encrypted_content: preferabil pentru aplicații sensibile, procesarea documentelor confidențiale și cazurile în care datele nu trebuie să părăsească infrastructura dumneavoastră (dincolo de tranzitul API).
Combinarea cu fluxul de lucru hibrid
Ambele metode se integrează în modelul de buclă prezentat în lecția anterioară:
async def multi_turn_conversation(questions: list[str]) -> list[str]:
responses = []
previous_id = None
for question in questions:
kwargs = {
"model": "grok-4.5",
"messages": [{"role": "user", "content": question}],
"tools": my_tools,
"store_messages": True,
}
if previous_id:
kwargs["previous_response_id"] = previous_id
response = await client.chat.completions.create(**kwargs)
previous_id = response.id
responses.append(response.choices[0].message.content)
return responses
Acest model înlănțuie întrebările păstrând totodată contextul complet al conversației, inclusiv rezultatele instrumentelor și raționamentul intern al modelului.
Puncte cheie
store_messages=True+previous_response_iddeleagă gestionarea contextului către xAIuse_encrypted_content=Truepăstrează raționamentul fără stocare la distanță- Alegerea depinde de constrângerile de confidențialitate și simplitate
- Ambele metode sunt compatibile cu fluxurile de lucru pe mai multe ture și instrumentele hibride
previous_response_idelimină necesitatea retrimiterii întregului istoric de mesaje