Večkratni kontekst: shranjevanje in šifriranje
Na tej strani
Težava s kontekstom med zahtevki
Pri večkratnem pogovoru z orodji se količina konteksta hitro povečuje. Vsak klic orodja doda svoje rezultate v nit sporočil, notranje sklepanje modela pa je treba ohraniti zaradi doslednosti. To težavo rešujeta dva mehanizma: oddaljeno shranjevanje in šifriranje na strani odjemalca.
1. metoda: store_messages in previous_response_id
Oddaljeno shranjevanje prenaša upravljanje konteksta na strežnike xAI. V prvem zahtevku omogočiš store_messages=True, nato pa zaporedne zahtevke povežeš s parametrom previous_response_id:
# Prvi zahtevek: omogoči shranjevanje
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Analyze this sales dataset"}],
tools=my_tools,
store_messages=True
)
response_id = response.id # shrani ID
# Naslednji zahtevek: uporabi shranjeni kontekst
response2 = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "What are the top 3 selling products?"}],
previous_response_id=response_id,
store_messages=True
)
S tem pristopom celotne zgodovine sporočil ni treba ponovno pošiljati. Strežnik xAI ohranja kontekst in ga samodejno pripne. To zmanjša velikost zahtevkov in poenostavi tvojo kodo.
Prednosti
- Lažji zahtevki (ni treba ponovno pošiljati celotne zgodovine)
- Notranje sklepanje modela se samodejno ohrani
- Ni zapletenega upravljanja stanja na strani odjemalca
Omejitve
- Sporočila so shranjena na strežnikih xAI (vidik zasebnosti)
response_idje treba ohraniti med zahtevki- Shranjevanje ima omejen čas zadrževanja
2. metoda: use_encrypted_content
Šifriranje na strani odjemalca ponuja alternativo za primere, ko želiš obdržati nadzor nad kontekstom, ne da bi svoje podatke shranjeval na strežnikih xAI:
# Omogoči šifrirano vsebino
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Analyze this contract"}],
tools=my_tools,
use_encrypted_content=True
)
# Sklepanje in izhodi orodij so vrnjeni šifrirano
# Dodaš jih takšne, kot so, v naslednja sporočila
messages = [
{"role": "user", "content": "Analyze this contract"},
response.choices[0].message, # vsebuje šifrirano vsebino
{"role": "user", "content": "What are the termination clauses?"}
]
response2 = await client.chat.completions.create(
model="grok-4.5",
messages=messages,
use_encrypted_content=True
)
Z nastavitvijo use_encrypted_content=True so notranje sklepanje in rezultati orodij vrnjeni v šifrirani obliki. Ne moreš jih brati, vendar jih ponovno pošlješ v naslednjih zahtevkih. Strežnik jih dešifrira, da ohrani neprekinjenost sklepanja.
Prednosti
- Kontekst ostane pod tvojim nadzorom (brez oddaljenega shranjevanja)
- Notranje sklepanje je ohranjeno, ne da bi bilo razkrito v čitljivi obliki
- Združljivo s strogimi pravilniki o zasebnosti
Omejitve
- Zahtevki so večji (vključena je šifrirana vsebina)
- Zgodovino sporočil moraš upravljati na strani odjemalca
Izbira med obema metodama
Izbira je odvisna od tvojega primera uporabe:
store_messages: primernejše za klepetalne aplikacije, interaktivne pomočnike in primere, kjer je na prvem mestu preprostost. Kontekst je upravljan samodejno.use_encrypted_content: primernejše za občutljive aplikacije, obdelavo zaupnih dokumentov in primere, kjer podatki ne smejo zapustiti tvoje infrastrukture (razen prenosa prek API-ja).
Kombinacija s hibridnim delovnim tokom
Obe metodi se integrirata v vzorec zanke, prikazan v prejšnji lekciji:
async def multi_turn_conversation(questions: list[str]) -> list[str]:
responses = []
previous_id = None
for question in questions:
kwargs = {
"model": "grok-4.5",
"messages": [{"role": "user", "content": question}],
"tools": my_tools,
"store_messages": True,
}
if previous_id:
kwargs["previous_response_id"] = previous_id
response = await client.chat.completions.create(**kwargs)
previous_id = response.id
responses.append(response.choices[0].message.content)
return responses
Ta vzorec povezuje vprašanja ob ohranjanju celotnega konteksta pogovora, vključno z rezultati orodij in notranjim sklepanjem modela.
Ključne ugotovitve
store_messages=True+previous_response_idprenaša upravljanje konteksta na xAIuse_encrypted_content=Trueohranja sklepanje brez oddaljenega shranjevanja- Izbira je odvisna od tvojih omejitev glede zasebnosti in preprostosti
- Obe metodi sta združljivi z večkratnimi delovnimi tokovi in hibridnimi orodji
previous_response_idodpravlja potrebo po ponovnem pošiljanju celotne zgodovine sporočil