Kontekst wieloetapowy: przechowywanie i szyfrowanie
Na tej stronie
Problem kontekstu między żądaniami
W rozmowie wieloetapowej z wykorzystaniem narzędzi objętość kontekstu rośnie bardzo szybko. Każde wywołanie narzędzia dodaje swoje wyniki do wątku wiadomości, a wewnętrzny proces rozumowania modelu musi zostać zachowany dla zapewnienia spójności. Dwa mechanizmy rozwiązują ten problem: zdalne przechowywanie i szyfrowanie po stronie klienta.
Metoda 1: store_messages i previous_response_id
Zdalne przechowywanie deleguje zarządzanie kontekstem na serwery xAI. Włączasz store_messages=True w swoim pierwszym żądaniu, a następnie łączysz kolejne żądania za pomocą previous_response_id:
# Pierwsze żądanie: włącz przechowywanie
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Analyze this sales dataset"}],
tools=my_tools,
store_messages=True
)
response_id = response.id # zapisz identyfikator
# Następne żądanie: użyj zapisanego kontekstu
response2 = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "What are the top 3 selling products?"}],
previous_response_id=response_id,
store_messages=True
)
Dzięki temu podejściu nie musisz ponownie wysyłać pełnej historii wiadomości. Serwer xAI przechowuje kontekst i dołącza go automatycznie. Zmniejsza to rozmiar żądania i upraszcza Twój kod.
Zalety
- Lżejsze żądania (brak konieczności ponownego wysyłania pełnej historii)
- Wewnętrzny proces rozumowania modelu jest zachowywany automatycznie
- Brak złożonego zarządzania stanem po stronie klienta
Ograniczenia
- Wiadomości są przechowywane na serwerach xAI (kwestia prywatności)
- Należy zachować
response_idmiędzy żądaniami - Przechowywanie ma ograniczony czas retencji
Metoda 2: use_encrypted_content
Szyfrowanie po stronie klienta stanowi alternatywę w przypadkach, gdy chcesz zachować kontrolę nad kontekstem bez przechowywania danych na serwerach xAI:
# Włącz szyfrowaną zawartość
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Analyze this contract"}],
tools=my_tools,
use_encrypted_content=True
)
# Rozumowanie i wyniki narzędzi są zwracane w postaci zaszyfrowanej
# Dodajesz je bez zmian do kolejnych wiadomości
messages = [
{"role": "user", "content": "Analyze this contract"},
response.choices[0].message, # zawiera zaszyfrowaną zawartość
{"role": "user", "content": "What are the termination clauses?"}
]
response2 = await client.chat.completions.create(
model="grok-4.5",
messages=messages,
use_encrypted_content=True
)
Gdy use_encrypted_content=True, wewnętrzne rozumowanie i wyniki narzędzi są zwracane w formie zaszyfrowanej. Nie możesz ich odczytać, ale odsyłasz je w kolejnych żądaniach. Serwer odszyfrowuje je, aby utrzymać ciągłość rozumowania.
Zalety
- Kontekst pozostaje pod Twoją kontrolą (brak zdalnego przechowywania)
- Wewnętrzne rozumowanie jest zachowywane bez ujawniania w postaci zwykłego tekstu
- Zgodność ze ścisłymi politykami prywatności
Ograniczenia
- Żądania są większe (dołączona jest zaszyfrowana zawartość)
- Musisz zarządzać historią wiadomości po stronie klienta
Wybór między obiema metodami
Wybór zależy od Twojego kontekstu:
- store_messages: preferowane w aplikacjach czatowych, interaktywnych asystentach i przypadkach, gdzie priorytetem jest prostota. Kontekst jest zarządzany automatycznie.
- use_encrypted_content: preferowane w aplikacjach wrażliwych, przy przetwarzaniu dokumentów poufnych oraz w przypadkach, gdy dane nie mogą opuszczać Twojej infrastruktury (poza transmisją przez API).
Łączenie z przepływem pracy hybrydowej
Obie metody integrują się ze wzorcem pętli omówionym w poprzedniej lekcji:
async def multi_turn_conversation(questions: list[str]) -> list[str]:
responses = []
previous_id = None
for question in questions:
kwargs = {
"model": "grok-4.5",
"messages": [{"role": "user", "content": question}],
"tools": my_tools,
"store_messages": True,
}
if previous_id:
kwargs["previous_response_id"] = previous_id
response = await client.chat.completions.create(**kwargs)
previous_id = response.id
responses.append(response.choices[0].message.content)
return responses
Wzorzec ten łączy pytania, zachowując pełny kontekst rozmowy, w tym wyniki działania narzędzi i wewnętrzny proces rozumowania modelu.
Kluczowe wnioski
store_messages=True+previous_response_iddeleguje zarządzanie kontekstem na xAIuse_encrypted_content=Truezachowuje rozumowanie bez zdalnego przechowywania- Wybór zależy od wymagań dotyczących prywatności i prostoty
- Obie metody są kompatybilne z przepływami pracy wieloetapowymi i narzędziami hybrydowymi
previous_response_ideliminuje konieczność ponownego wysyłania pełnej historii wiadomości