Többmenetes kontextus: tárolás és titkosítás
Ezen az oldalon
A kontextus problémája a kérések között
Eszközökkel folytatott többmenetes beszélgetés során a kontextus volumene gyorsan növekszik. Minden egyes eszközlehívás hozzáadja az eredményeit az üzenetszálhoz, és a modell belső következtetéseit meg kell őrizni a konzisztencia érdekében. Két mechanizmus oldja meg ezt a problémát: a távoli tárolás és a kliensoldali titkosítás.
1. módszer: store_messages és previous_response_id
A távoli tárolás a kontextuskezelést az xAI szervereire bízza. Az első kérésedben engedélyezed a store_messages=True paramétert, majd a previous_response_id segítségével láncolod az azt követő kéréseket:
# Első kérés: tárolás engedélyezése
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Analyze this sales dataset"}],
tools=my_tools,
store_messages=True
)
response_id = response.id # mentsd el az azonosítót
# Következő kérés: tárolt kontextus használata
response2 = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "What are the top 3 selling products?"}],
previous_response_id=response_id,
store_messages=True
)
Ezzel a megközelítéssel nem kell újra elküldened a teljes üzenetelőzményt. Az xAI szerver megtartja a kontextust, és automatikusan csatolja azt. Ez csökkenti a kérések méretét, és leegyszerűsíti a kódodat.
Előnyök
- Kisebb méretű kérések (nem kell újra elküldeni a teljes előzményt)
- A modell belső következtetései automatikusan megmaradnak
- Nincs szükség bonyolult állapotkezelésre a kliens oldalon
Korlátok
- Az üzenetek az xAI szerverein tárolódnak (adatvédelmi szempont)
- A
response_id-t meg kell őrizni a kérések között - A tárolás időtartama korlátozott
2. módszer: use_encrypted_content
A kliensoldali titkosítás alternatívát kínál azokban az esetekben, amikor meg akarod tartani a kontrollt a kontextus felett anélkül, hogy az adataidat az xAI szerverein tárolnád:
# Titkosított tartalom engedélyezése
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Analyze this contract"}],
tools=my_tools,
use_encrypted_content=True
)
# A következtetések és az eszközök kimenetei titkosítva érkeznek vissza
# Ezeket változatlan formában adod hozzá a következő üzenetekhez
messages = [
{"role": "user", "content": "Analyze this contract"},
response.choices[0].message, # titkosított tartalmat tartalmaz
{"role": "user", "content": "What are the termination clauses?"}
]
response2 = await client.chat.completions.create(
model="grok-4.5",
messages=messages,
use_encrypted_content=True
)
A use_encrypted_content=True beállítással a belső következtetések és az eszközök eredményei titkosított formában érkeznek vissza. Nem tudod elolvasni őket, de továbbküldheted őket a következő kérésekben. A szerver decryptálja őket, hogy biztosítsa a következtetési folyamat folytonosságát.
Előnyök
- A kontextus a te ellenőrzésed alatt marad (nincs távoli tárolás)
- A belső következtetések megmaradnak anélkül, hogy nyílt szövegként láthatóvá válnának
- Összeegyeztethető szigorú adatvédelmi irányelvekkel
Korlátok
- Nagyobb méretű kérések (a titkosított tartalom is benne van)
- Neked kell kezelned az üzenetelőzményt a kliens oldalon
Döntés a két módszer között
A választás a helyzetedtől függ:
- store_messages: előnyös chat alkalmazásoknál, interaktív asszisztenseknél és olyan esetekben, ahol az egyszerűség az elsődleges. A kontextus kezelése automatikus.
- use_encrypted_content: előnyös érzékeny alkalmazásoknál, bizalmas dokumentumok feldolgozásakor, valamint olyan esetekben, amikor az adatoknak nem szabad elhagyniuk az infrastruktúrádat (az API átvitelen túl).
Integrálás a hibrid munkafolyamattal
Mindkét módszer beépíthető az előző leckében látott ciklusminta szerint:
async def multi_turn_conversation(questions: list[str]) -> list[str]:
responses = []
previous_id = None
for question in questions:
kwargs = {
"model": "grok-4.5",
"messages": [{"role": "user", "content": question}],
"tools": my_tools,
"store_messages": True,
}
if previous_id:
kwargs["previous_response_id"] = previous_id
response = await client.chat.completions.create(**kwargs)
previous_id = response.id
responses.append(response.choices[0].message.content)
return responses
Ez a minta láncolja a kérdéseket, miközben megőrzi a teljes beszélgetési kontextust, beleértve az eszközök eredményeit és a modell belső következtetéseit is.
Főbb megállapítások
- A
store_messages=True+previous_response_idaz xAI-ra bízza a kontextuskezelést - A
use_encrypted_content=Truemegőrzi a következtetéseket távoli tárolás nélkül - A választás az adatvédelmi és egyszerűségi követelményeidtől függ
- Mindkét módszer kompatibilis a többmenetes munkafolyamatokkal és a hibrid eszközökkel
- A
previous_response_idmegszünteti a teljes üzenetelőzmény újraküldésének szükségességét