Daugkartinis kontekstas: saugojimas ir šifravimas
Šiame puslapyje
Konteksto problema tarp užklausų
Daugkartinio dialogo metu naudojant įrankius, konteksto apimtis greitai auga. Kiekvienas įrankio iškvietimas prideda savo rezultatus į žinučių srautą, o modelio vidiniai samprotavimai turi būti išsaugoti nuoseklumui užtikrinti. Šią problemą sprendžia du mechanizmai: nuotolinis saugojimas ir šifravimas kliento pusėje.
1 metodas: store_messages ir previous_response_id
Nuotolinis saugojimas perduoda konteksto valdymą „xAI“ serveriams. Pirmoje užklausoje įjunkite store_messages=True, o vėlesnes užklausas grandinkite naudodami previous_response_id:
# Pirma užklausa: įjungti saugojimą
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Analyze this sales dataset"}],
tools=my_tools,
store_messages=True
)
response_id = response.id # išsaugoti ID
# Kita užklausa: naudoti išsaugotą kontekstą
response2 = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "What are the top 3 selling products?"}],
previous_response_id=response_id,
store_messages=True
)
Taikant šį metodą, nereikia iš naujo siųsti visos žinučių istorijos. „xAI“ serveris išlaiko kontekstą ir jį automatiškai prijungia. Tai sumažina užklausos dydį ir supaprastina tavo kodą.
Privalumai
- Lengvesnės užklausos (nereikia iš naujo siųsti visos istorijos)
- Modelio vidiniai samprotavimai išsaugomi automatiškai
- Nėra sudėtingo būsenos valdymo kliento pusėje
Apribojimai
- Žinutės saugomos „xAI“ serveriuose (privatumo aspektas)
- Tarp užklausų reikia išsaugoti
response_id - Saugojimas turi ribotą galiojimo laiką
2 metodas: use_encrypted_content
Šifravimas kliento pusėje yra alternatyva tais atvejais, kai norite išlaikyti konteksto kontrolę nesaugodami duomenų „xAI“ serveriuose:
# Įjungti šifruotą turinį
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Analyze this contract"}],
tools=my_tools,
use_encrypted_content=True
)
# Samprotavimai ir įrankių išvestys grąžinami užšifruoti
# Juos tokius pat pridedate prie vėlesnių žinučių
messages = [
{"role": "user", "content": "Analyze this contract"},
response.choices[0].message, # turi užšifruotą turinį
{"role": "user", "content": "What are the termination clauses?"}
]
response2 = await client.chat.completions.create(
model="grok-4.5",
messages=messages,
use_encrypted_content=True
)
Nustačius use_encrypted_content=True, vidiniai samprotavimai ir įrankių rezultatai grąžinami užšifruota forma. Jų negalite perskaityti, tačiau juos iš naujo siunčiate vėlesnėse užklausose. Serveris juos iššifruoja, kad išlaikytų samprotavimų tęstinumą.
Privalumai
- Kontekstas lieka jūsų kontroliuojamas (nėra nuotolinio saugojimo)
- Vidiniai samprotavimai išsaugomi neatskleidžiant jų grynuoju tekstu
- Suderinama su griežtomis privatumo politikomis
Apribojimai
- Užklausos didesnės (įtraukiamas užšifruotas turinys)
- Turite valdyti žinučių istoriją kliento pusėje
Pasirinkimas tarp dviejų metodų
Pasirinkimas priklauso nuo jūsų situacijos:
store_messages: pageidautina pokalbių programėlėms, interaktyviems asistentams ir atvejais, kai svarbiausias paprastumas. Kontekstas valdomas automatiškai.use_encrypted_content: pageidautina jautrioms programėlėms, konfidencialių dokumentų apdorojimui ir atvejais, kai duomenys neturi išeiti iš jūsų infrastruktūros (neįskaitant perdavimo per API).
Derinimas su hibridine darbo eiga
Abu metodai integruojami į ankstesnėje pamokoje matytą ciklo šabloną:
async def multi_turn_conversation(questions: list[str]) -> list[str]:
responses = []
previous_id = None
for question in questions:
kwargs = {
"model": "grok-4.5",
"messages": [{"role": "user", "content": question}],
"tools": my_tools,
"store_messages": True,
}
if previous_id:
kwargs["previous_response_id"] = previous_id
response = await client.chat.completions.create(**kwargs)
previous_id = response.id
responses.append(response.choices[0].message.content)
return responses
Šis šablonas grandina klausimus išlaikant visą pokalbio kontekstą, įskaitant įrankių rezultatus ir modelio vidinius samprotavimus.
Svarbiausi punktai
store_messages=True+previous_response_idperduoda konteksto valdymą „xAI“use_encrypted_content=Trueišsaugo samprotavimus be nuotolinio saugojimo- Pasirinkimas priklauso nuo jūsų privatumo ir paprastumo reikalavimų
- Abu metodai suderinami su daugkartinio dialogo darbo eigomis ir hibridiniais įrankiais
previous_response_idpašalina poreikį iš naujo siųsti visą žinučių istoriją