Wykorzystywanie wnioskowania w kolejnych żądaniach
Na tej stronie
Pamięć podręczna wnioskowania (Thought Cache)
Jedną z najpotężniejszych funkcji szyfrowanego systemu wnioskowania xAI jest możliwość ponownego wprowadzenia wnioskowania z poprzedniego żądania do nowego. Mechanizm ten, działający jak „pamięć podręczna myśli“, pozwala modelowi kontynuować wnioskowanie tam, gdzie je przerwał.
Jak to działa
Proces składa się z trzech kroków:
- Żądanie początkowe: wysyłasz pytanie z parametrem
include=["reasoning.encrypted_content"] - Przechowywanie: zachowujesz zaszyfrowaną treść zwróconą w odpowiedzi
- Kolejne żądanie: ponownie wprowadzasz tę zaszyfrowaną treść do nowego żądania
Model rozpoznaje zaszyfrowane wnioskowanie i wykorzystuje je jako kontekst dla swojej nowej refleksji. Nie zaczyna od zera: posiada „pamięć“ swojego wcześniejszego procesu myślowego.
Implementacja krok po kroku
Krok 1: Żądanie początkowe z pobraniem wnioskowania
from openai import OpenAI
client = OpenAI(
api_key="your-api-key",
base_url="https://api.x.ai/v1"
)
# Pierwsze żądanie
response_1 = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Explain Bayes' theorem and give a medical example.",
include=["reasoning.encrypted_content"]
)
# Wyodrębnienie zaszyfrowanego wnioskowania
encrypted_reasoning = None
for item in response_1.output:
if item.type == "reasoning":
encrypted_reasoning = item.encrypted_content
Krok 2: Kolejne żądanie z ponownym wprowadzeniem
# Drugie żądanie korzystające z poprzedniego wnioskowania
response_2 = client.responses.create(
model="grok-4.20-0309-reasoning",
input=[
# Ponowne wprowadzenie zaszyfrowanego wnioskowania z poprzedniego żądania
{
"type": "reasoning",
"encrypted_content": encrypted_reasoning
},
# Nowa wiadomość
{
"type": "message",
"role": "user",
"content": "Now, apply this theorem to a COVID test with 95% sensitivity and 99% specificity."
}
],
include=["reasoning.encrypted_content"]
)
Korzyści z pamięci podręcznej wnioskowania
Ciągłość wnioskowania
Model nie musi重构ować całego kontekstu myślowego. Jeśli już przeprowadził wnioskowanie na temat twierdzenia Bayesa, może zastosować je bezpośrednio do nowego problemu bez ponownego omawiania dowodu.
Oszczędność tokenów
Dzięki ponownemu wykorzystaniu zaszyfrowanego wnioskowania zapobiegasz generowaniu przez model tokenów wnioskowania dla części już omówionej. W długich rozmowach oszczędności mogą być znaczące.
Spójność
Model zachowuje spójność w kolejnych odpowiedziach. Nie zaprzeczy sam sobie, ponieważ posiada ślad własnego procesu wnioskowania.
Ograniczenia i limity
- Ten sam model: zaszyfrowanego wnioskowania z jednego modelu nie można wykorzystać w innym modelu. Wnioskowanie wygenerowane przez grok-4.5 nie zadziała z grok-4.20-0309-reasoning.
- Rozmiar: zaszyfrowana treść może być duża. Monitoruj rozmiary swoich żądań.
- Wygaśnięcie: zaszyfrowana treść może mieć ograniczony okres ważności. Nie przechowuj jej w nieskończoność bez weryfikacji.
- Brak modyfikacji: nie możesz zmieniać zaszyfrowanej treści. Każda modyfikacja unieważnia ją.
Przypadki użycia w środowisku produkcyjnym
Złożone rozmowy wieloetapowe
W przypadku chatbota rozwiązującego problemy matematyczne w trakcie kilku wymian zdań, pamięć podręczna wnioskowania utrzymuje wątek rozumowania bez konieczności ponownego wysyłania wszystkiego w kontekście.
Potok walidacji
Potok analizujący kod w wielu przebiegach może ponownie wykorzystać wnioskowanie z pierwszego przebiegu (identyfikacja problemów) w drugim przebiegu (proponowanie poprawek).
Interaktywny korepetytor
System korepetytorski może przechowywać wnioskowanie modelu dotyczące wyjaśniania danej koncepcji, a następnie wykorzystać je, gdy uczeń zadaje pytania dodatkowe.
Kluczowe wnioski
- Zaszyfrowane wnioskowanie można ponownie wprowadzić do kolejnych żądań poprzez pole
input - Mechanizm ten utrzymuje ciągłość wnioskowania bez konieczności ponownego generowania tokenów
- Zaszyfrowane wnioskowanie jest powiązane z modelem, który je wygenerował
- Nigdy nie modyfikuj zaszyfrowanej treści: staje się ona nieważna
- Przydatne w rozmowach wieloetapowych, potokach przetwarzania i systemach interaktywnych