Kontekst u višestrukim razmjenama: pohrana i šifriranje
Na ovoj stranici
Problem konteksta između zahtjeva
U razgovoru s alatima koji se odvija u više koraka, volumen konteksta brzo raste. Svaki poziv alata dodaje svoje rezultate u nit poruka, a interno rezoniranje modela mora se sačuvati radi dosljednosti. Dva mehanizma rješavaju ovaj problem: udaljena pohrana i šifriranje na strani klijenta.
Metoda 1: store_messages i previous_response_id
Udaljena pohrana delegira upravljanje kontekstom poslužiteljima xAI-a. U prvom zahtjevu omogućuješ store_messages=True, a zatim povezuješ naredne zahtjeve pomoću previous_response_id:
# First request: enable storage
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Analyze this sales dataset"}],
tools=my_tools,
store_messages=True
)
response_id = response.id # save the ID
# Next request: use stored context
response2 = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "What are the top 3 selling products?"}],
previous_response_id=response_id,
store_messages=True
)
Ovim pristupom ne moraš ponovno slati cijelu povijest poruka. Poslužitelj xAI zadržava kontekst i automatski ga pridružuje. To smanjuje veličinu zahtjeva i pojednostavljuje tvoj kod.
Prednosti
- Lakši zahtjevi (nema potrebe za ponovnim slanjem pune povijesti)
- Interno rezoniranje modela automatski se čuva
- Nema složenog upravljanja stanjem na strani klijenta
Ograničenja
- Poruke se pohranjuju na poslužiteljima xAI-a (pitanje privatnosti)
response_idmora se čuvati između zahtjeva- Pohrana ima ograničeno vrijeme zadržavanja
Metoda 2: use_encrypted_content
Šifriranje na strani klijenta nudi alternativu za slučajeve u kojima želiš zadržati kontrolu nad kontekstom bez pohrane podataka na poslužiteljima xAI-a:
# Enable encrypted content
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Analyze this contract"}],
tools=my_tools,
use_encrypted_content=True
)
# Reasoning and tool outputs are returned encrypted
# You add them as-is to subsequent messages
messages = [
{"role": "user", "content": "Analyze this contract"},
response.choices[0].message, # contains encrypted content
{"role": "user", "content": "What are the termination clauses?"}
]
response2 = await client.chat.completions.create(
model="grok-4.5",
messages=messages,
use_encrypted_content=True
)
Kada je use_encrypted_content=True, interno rezoniranje i rezultati alata vraćaju se u šifriranom obliku. Ne možeš ih pročitati, ali ih ponovno šalješ u narednim zahtjevima. Poslužitelj ih dešifrira kako bi održao kontinuitet rezoniranja.
Prednosti
- Kontekst ostaje pod tvojom kontrolom (bez udaljene pohrane)
- Interno rezoniranje se čuva bez izlaganja u čistom tekstu
- Kompatibilno sa strogim politikama privatnosti
Ograničenja
- Zahtjevi su veći (uključen je šifrirani sadržaj)
- Moraš upravljati poviješću poruka na strani klijenta
Odabir između dviju metoda
Izbor ovisi o tvom kontekstu:
- store_messages: poželjno za chat aplikacije, interaktivne asistente i slučajeve gdje je jednostavnost prioritet. Kontekstom se upravlja automatski.
- use_encrypted_content: poželjno za osjetljive aplikacije, obradu povjerljivih dokumenata i slučajeve gdje podaci ne smiju napustiti tvoju infrastrukturu (izvan prijenosa putem API-ja).
Kombiniranje s hibridnim radnim tijekovima
Obje metode integriraju se u obrazac petlje viđen u prethodnoj lekciji:
async def multi_turn_conversation(questions: list[str]) -> list[str]:
responses = []
previous_id = None
for question in questions:
kwargs = {
"model": "grok-4.5",
"messages": [{"role": "user", "content": question}],
"tools": my_tools,
"store_messages": True,
}
if previous_id:
kwargs["previous_response_id"] = previous_id
response = await client.chat.completions.create(**kwargs)
previous_id = response.id
responses.append(response.choices[0].message.content)
return responses
Ovaj obrazac povezuje pitanja uz očuvanje punog konteksta razgovora, uključujući rezultate alata i interno rezoniranje modela.
Ključne točke
store_messages=True+previous_response_iddelegira upravljanje kontekstom xAI-uuse_encrypted_content=Truečuva rezoniranje bez udaljene pohrane- Izbor ovisi o tvojim ograničenjima privatnosti i jednostavnosti
- Obje metode kompatibilne su s radnim tijekovima u više koraka i hibridnim alatima
previous_response_iduklanja potrebu za ponovnim slanjem pune povijesti poruka