Mitme vooru kontekst: salvestamine ja krüptimine
Sellel lehel
Konteksti probleem päringute vahel
Tööriistadega mitme vooru vestluses kasvab konteksti maht kiiresti. Iga tööriista väljakutse lisab oma tulemused sõnumite ahelasse ja mudeli sisemine arutluskäik tuleb järjepidevuse huvides säilitada. Selle probleemi lahendavad kaks mehhanismi: kaugsalvestus ja kliendipoolne krüptimine.
Meetod 1: store_messages ja previous_response_id
Kaugsalvestus delegeerib konteksti haldamise xAI serveritele. Lubad esimeses päringus store_messages=True ja aheldad järgnevad päringud parameetriga previous_response_id:
# Esimene päring: luba salvestamine
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Analyze this sales dataset"}],
tools=my_tools,
store_messages=True
)
response_id = response.id # salvesta ID
# Järgmine päring: kasuta salvestatud konteksti
response2 = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "What are the top 3 selling products?"}],
previous_response_id=response_id,
store_messages=True
)
Selle lähenemisviisi korral ei pea sa kogu sõnumite ajalugu uuesti saatma. xAI server hoiab konteksti ja lisab selle automaatselt. See vähendab päringu suurust ja lihtsustab sinu koodi.
Eelised
- Kergemad päringud (pole vaja kogu ajalugu uuesti saata)
- Mudeli sisemine arutluskäik säilib automaatselt
- Pole vaja keerukat olekuhaldust kliendipoolses koodis
Piirangud
- Sõnumid salvestatakse xAI serveritesse (privaatsuse aspekt)
response_idtuleb päringute vahel säilitada- Salvestusmahul on piiratud säilitusaeg
Meetod 2: use_encrypted_content
Kliendipoolne krüptimine pakub alternatiivi juhtudeks, kui soovid säilitada kontrolli konteksti üle, salvestamata oma andmeid xAI serveritesse:
# Luba krüptitud sisu
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Analyze this contract"}],
tools=my_tools,
use_encrypted_content=True
)
# Arutluskäik ja tööriista väljundid tagastatakse krüptituna
# Lisad need muutumatul kujul järgmistesse sõnumitesse
messages = [
{"role": "user", "content": "Analyze this contract"},
response.choices[0].message, # sisaldab krüptitud sisu
{"role": "user", "content": "What are the termination clauses?"}
]
response2 = await client.chat.completions.create(
model="grok-4.5",
messages=messages,
use_encrypted_content=True
)
Kasutades use_encrypted_content=True, tagastatakse sisemine arutluskäik ja tööriista tulemused krüptitud kujul. Sa ei saa neid lugeda, kuid saadad need järgnevates päringutes edasi. Server dekrüpteerib need, et säilitada arutluskäigu järjepidevus.
Eelised
- Kontekst jääb sinu kontrolli alla (kaugsalvestus puudub)
- Sisemine arutluskäik säilib, olemata avalikus tekstis nähtav
- Ühildub rangete privaatsuspoliitikatega
Piirangud
- Päringud on suuremad (krüptitud sisu on kaasatud)
- Pead sõnumite ajalugu haldama kliendipoolses koodis
Kahe meetodi vahel valimine
Valik sõltub sinu kasutusjuhtumist:
- store_messages: eelistatav vestlusrakenduste, interaktiivsete assistentide ja lihtsust prioriteediks seadvate juhtumite puhul. Konteksti hallatakse automaatselt.
- use_encrypted_content: eelistatav tundlike rakenduste, konfidentsiaalsete dokumentide töötlemise ja juhtumite puhul, kus andmed ei tohi lahkuda sinu taristust (välja arvatud API edastus).
Kombineerimine hübriidtöövooga
Mõlemad meetodid integreeruvad eelmises õppetükis nähtud tsüklimustrisse:
async def multi_turn_conversation(questions: list[str]) -> list[str]:
responses = []
previous_id = None
for question in questions:
kwargs = {
"model": "grok-4.5",
"messages": [{"role": "user", "content": question}],
"tools": my_tools,
"store_messages": True,
}
if previous_id:
kwargs["previous_response_id"] = previous_id
response = await client.chat.completions.create(**kwargs)
previous_id = response.id
responses.append(response.choices[0].message.content)
return responses
See muster aheldab küsimusi, säilitades samal ajal kogu vestluse konteksti, sealhulgas tööriista tulemused ja mudeli sisemise arutluskäigu.
Peamised punktid
store_messages=True+previous_response_iddelegeerib konteksti haldamise xAI-leuse_encrypted_content=Truesäilitab arutluskäigu ilma kaugsalvestuseta- Valik sõltub sinu privaatsus- ja lihtsusnõuetest
- Mõlemad meetodid ühilduvad mitme vooru töövoogude ja hübriidtööriistadega
previous_response_idkõrvaldab vajaduse saata kogu sõnumite ajalugu uuesti