Konteksts vairāku soļu sarunās: glabāšana un šifrēšana
Šajā lapā
Konteksta problēma starp pieprasījumiem
Vairāku soļu sarunā, izmantojot rīkus, konteksta apjoms strauji pieaug. Katrs rīka izsaukums pievieno savus rezultātus ziņojumu pavedienam, un modeļa iekšējā spriešana ir jāsaglabā, lai nodrošinātu konsekvenci. Šo problēmu atrisina divi mehānismi: attālināta glabāšana un šifrēšana klienta pusē.
1. metode: store_messages un previous_response_id
Attālināta glabāšana nodod konteksta pārvaldību xAI serveriem. Pirmajā pieprasījumā tu aktivizē store_messages=True, pēc tam secīgus pieprasījumus saista ar previous_response_id:
# Pirmais pieprasījums: aktivizēt glabāšanu
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Analyze this sales dataset"}],
tools=my_tools,
store_messages=True
)
response_id = response.id # saglabā ID
# Nākamais pieprasījums: izmantot saglabāto kontekstu
response2 = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "What are the top 3 selling products?"}],
previous_response_id=response_id,
store_messages=True
)
Izmantojot šo pieeju, tev nav jānosūta viss ziņojumu vēstures kopums atkārtoti. xAI serveris saglabā kontekstu un to automātiski pievieno. Tas samazina pieprasījuma lielumu un vienkāršo tavu kodu.
Priekšrocības
- Vieglāki pieprasījumi (nav jānosūta visa vēsture)
- Modeļa iekšējā spriešana tiek automātiski saglabāta
- Nav nepieciešama sarežģīta stāvokļa pārvaldība klienta pusē
Ierobežojumi
- Ziņojumi tiek glabāti xAI serveros (privātuma aspekts)
- Starp pieprasījumiem ir jāsaglabā
response_id - Glabāšanai ir ierobežots saglabāšanas periods
2. metode: use_encrypted_content
Šifrēšana klienta pusē piedāvā alternatīvu gadījumiem, kad vēlies paturēt kontroli pār kontekstu, neglabājot datus xAI serveros:
# Aktivizēt šifrētu saturu
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Analyze this contract"}],
tools=my_tools,
use_encrypted_content=True
)
# Spriešana un rīku izvades tiek atgrieztas šifrētā veidā
# Tu tās pievieno nākamajiem ziņojumiem nemainītā veidā
messages = [
{"role": "user", "content": "Analyze this contract"},
response.choices[0].message, # satur šifrētu saturu
{"role": "user", "content": "What are the termination clauses?"}
]
response2 = await client.chat.completions.create(
model="grok-4.5",
messages=messages,
use_encrypted_content=True
)
Iestatot use_encrypted_content=True, iekšējā spriešana un rīku rezultāti tiek atgriezti šifrētā formātā. Tu tos nevari nolasīt, bet nosūti tos atpakaļ nākamajos pieprasījumos. Serveris tos atšifrē, lai uzturētu spriešanas nepārtrauktību.
Priekšrocības
- Konteksts paliek tavā kontrolē (bez attālinātas glabāšanas)
- Iekšējā spriešana tiek saglabāta, netiekot eksponēta skaidrtekstā
- Saderīga ar stingrām privātuma politikām
Ierobežojumi
- Pieprasījumi ir lielāki (tiek iekļauts šifrētais saturs)
- Ziņojumu vēsture ir jāpārvalda klienta pusē
Izvēle starp abām metodēm
Izvēle ir atkarīga no tava konkrētā gadījuma:
store_messages: vēlams četa lietotnēm, interaktīviem asistentiem un gadījumiem, kur prioritāte ir vienkāršība. Konteksts tiek pārvaldīts automātiski.use_encrypted_content: vēlams sensitīvām lietotnēm, konfidenciālu dokumentu apstrādei un gadījumiem, kad datiem nevajadzētu atstāt tavu infrastruktūru (pārsniedzot API pārsūtīšanu).
Kombinēšana ar hibrīddarba plūsmu
Abas metodes integrējas iepriekšējā nodarbībā apskatītajā cikla rakstā:
async def multi_turn_conversation(questions: list[str]) -> list[str]:
responses = []
previous_id = None
for question in questions:
kwargs = {
"model": "grok-4.5",
"messages": [{"role": "user", "content": question}],
"tools": my_tools,
"store_messages": True,
}
if previous_id:
kwargs["previous_response_id"] = previous_id
response = await client.chat.completions.create(**kwargs)
previous_id = response.id
responses.append(response.choices[0].message.content)
return responses
Šis raksts saista jautājumus virknē, saglabājot pilnu sarunas kontekstu, ieskaitot rīku rezultātus un modeļa iekšējo spriešanu.
Galvenās atziņas
store_messages=True+previous_response_idnodod konteksta pārvaldību xAIuse_encrypted_content=Truesaglabā spriešanu bez attālinātas glabāšanas- Izvēle ir atkarīga no taviem privātuma un vienkāršības ierobežojumiem
- Abas metodes ir saderīgas ar vairāku soļu darba plūsmām un hibrīdrīkiem
previous_response_idnovērš nepieciešamību atkārtoti nosūtīt visu ziņojumu vēsturi