Kontext vo viackolových konverzáciách: Ukladanie a šifrovanie
Na tejto strane
Problém kontextu medzi požiadavkami
Vo viackolovej konverzácii s nástrojmi objem kontextu rýchlo narastá. Každé volanie nástroja pridáva svoje výsledky do vlákna správ a vnútorné uvažovanie modelu sa musí zachovať kvôli konzistentnosti. Tento problém riešia dva mechanizmy: vzdialené ukladanie a šifrovanie na strane klienta.
Metóda 1: store_messages a previous_response_id
Vzdialené ukladanie deleguje správu kontextu na servery xAI. Vo svojej prvej požiadavke povolíš store_messages=True a následné požiadavky reťazíš pomocou previous_response_id:
# Prvá požiadavka: povoliť ukladanie
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Analyze this sales dataset"}],
tools=my_tools,
store_messages=True
)
response_id = response.id # uložiť ID
# Ďalšia požiadavka: použiť uložený kontext
response2 = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "What are the top 3 selling products?"}],
previous_response_id=response_id,
store_messages=True
)
Pri tomto prístupe nemusíš odosielať celú históriu správ. Server xAI uchováva kontext a automaticky ho pripája. To zmenšuje veľkosť požiadaviek a zjednodušuje tvoj kód.
Výhody
- Ľahšie požiadavky (netreba odosielať celú históriu)
- Vnútorné uvažovanie modelu sa automaticky zachováva
- Žiadna zložitá správa stavu na strane klienta
Obmedzenia
- Správy sa ukladajú na serveroch xAI (zváženie ochrany súkromia)
response_idsa musí uchovávať medzi požiadavkami- Úložisko má obmedzenú dobu uchovávania
Metóda 2: use_encrypted_content
Šifrovanie na strane klienta ponúka alternatívu pre prípady, keď chceš zachovať kontrolu nad kontextom bez ukladania dát na serveroch xAI:
# Povoliť šifrovaný obsah
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Analyze this contract"}],
tools=my_tools,
use_encrypted_content=True
)
# Uvažovanie a výstupy nástrojov sa vrátia zašifrované
# Pridáš ich tak, ako sú, do nasledujúcich správ
messages = [
{"role": "user", "content": "Analyze this contract"},
response.choices[0].message, # obsahuje šifrovaný obsah
{"role": "user", "content": "What are the termination clauses?"}
]
response2 = await client.chat.completions.create(
model="grok-4.5",
messages=messages,
use_encrypted_content=True
)
Pri nastavení use_encrypted_content=True sa vnútorné uvažovanie a výsledky nástrojov vracajú v zašifrovanej forme. Nemôžeš si ich prečítať, ale odosielaš ich v nasledujúcich požiadavkách. Server ich dešifruje, aby zachoval kontinuitu uvažovania.
Výhody
- Kontext zostáva pod tvojou kontrolou (žiadne vzdialené ukladanie)
- Vnútorné uvažovanie sa zachováva bez toho, aby bolo vystavené v plain texte
- Kompatibilné s prísnymi zásadami ochrany súkromia
Obmedzenia
- Požiadavky sú väčšie (sú súčasťou šifrovaného obsahu)
- Musíš spravovať históriu správ na strane klienta
Výber medzi týmito dvoma metódami
Výber závisí od tvojho kontextu:
- store_messages: vhodnejšie pre chatové aplikácie, interaktívnych asistentov a prípady, kde je prioritou jednoduchosť. Kontext sa spravuje automaticky.
- use_encrypted_content: vhodnejšie pre citlivé aplikácie, spracovanie dôverných dokumentov a prípady, keď dáta nesmú opustiť tvoju infraštruktúru (nad rámec prenosu cez API).
Kombinácia s hybridným workflow
Obe metódy sa integrujú do vzoru slučky, ktorý sme videli v predchádzajúcej lekcii:
async def multi_turn_conversation(questions: list[str]) -> list[str]:
responses = []
previous_id = None
for question in questions:
kwargs = {
"model": "grok-4.5",
"messages": [{"role": "user", "content": question}],
"tools": my_tools,
"store_messages": True,
}
if previous_id:
kwargs["previous_response_id"] = previous_id
response = await client.chat.completions.create(**kwargs)
previous_id = response.id
responses.append(response.choices[0].message.content)
return responses
Tento vzor reťazí otázky pri zachovaní úplného kontextu konverzácie, vrátane výsledkov nástrojov a vnútorného uvažovania modelu.
Kľúčové poznatky
store_messages=True+previous_response_iddeleguje správu kontextu na xAIuse_encrypted_content=Truezachováva uvažovanie bez vzdialeného ukladania- Výber závisí od tvojich obmedzení týkajúcich sa súkromia a jednoduchosti
- Obe metódy sú kompatibilné s viackolovými workflow a hybridnými nástrojmi
previous_response_ideliminuje potrebu opätovného odoslania celej histórie správ