Opětovné využití úvah v následujících požadavcích
Na této stránce
Mezipaměť úvah (Thought Cache)
Jednou z nejmocnějších funkcí šifrovaného systému úvah xAI je schopnost znovu vložit úvahy z předchozího požadavku do nového. Tento mechanismus, podobný „mezipaměti úvah“, umožňuje modelu pokračovat v úvahách tam, kde skončil.
Jak to funguje
Proces se skládá ze tří kroků:
- Počáteční požadavek: odešleš otázku s parametrem
include=["reasoning.encrypted_content"] - Uložení: uložíš šifrovaný obsah vrácený v odpovědi
- Následný požadavek: tento šifrovaný obsah znovu vložíš do nového požadavku
Model rozpozná šifrované úvahy a použije je jako kontext pro svou novou reflexi. Nezačíná od nuly: má „paměť“ svého předchozího myšlenkového procesu.
Implementace krok za krokem
Krok 1: Počáteční požadavek s načtením úvah
from openai import OpenAI
client = OpenAI(
api_key="your-api-key",
base_url="https://api.x.ai/v1"
)
# První požadavek
response_1 = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Explain Bayes' theorem and give a medical example.",
include=["reasoning.encrypted_content"]
)
# Extrakce šifrovaných úvah
encrypted_reasoning = None
for item in response_1.output:
if item.type == "reasoning":
encrypted_reasoning = item.encrypted_content
Krok 2: Následný požadavek s opětovným vložením
# Druhý požadavek, který těží z předchozích úvah
response_2 = client.responses.create(
model="grok-4.20-0309-reasoning",
input=[
# Opětovné vložení šifrovaných úvah z předchozího požadavku
{
"type": "reasoning",
"encrypted_content": encrypted_reasoning
},
# Nová zpráva
{
"type": "message",
"role": "user",
"content": "Now, apply this theorem to a COVID test with 95% sensitivity and 99% specificity."
}
],
include=["reasoning.encrypted_content"]
)
Výhody mezipaměti úvah
Kontinuita úvah
Model nemusí znovu vytvářet celý kontext úvah. Pokud již uvažoval o Bayesově větě, může ji přímo aplikovat na nový problém, aniž by znovu probíral demonstraci.
Úspora tokenů
Opětovným použitím šifrovaných úvah zabráníš modelu v regeneraci tokenů úvah pro část, která již byla pokryta. U dlouhých konverzací mohou být úspory významné.
Konzistence
Model si udržuje konzistenci napříč svými po sobě jdoucími odpověďmi. Nebude si protiřečit, protože má k dispozici stopu svého vlastního myšlenkového procesu.
Omezení a limity
- Stejný model: šifrované úvahy z jednoho modelu nelze znovu použít jiným modelem. Úvahy vytvořené modelem grok-4.5 nebudou fungovat s modelem grok-4.20-0309-reasoning.
- Velikost: šifrovaný obsah může být rozsáhlý. Sleduj velikost svých požadavků.
- Vypršení platnosti: šifrovaný obsah může mít omezenou dobu platnosti. Neukládej jej na neurčito bez kontrol.
- Žádné úpravy: šifrovaný obsah nemůžeš měnit. Jakákoli modifikace jej zneplatní.
Případy použití v produkci
Komplexní vícekolové konverzace
U chatbota řešícího matematické problémy během několika výměn udržuje mezipaměť úvah vlákno myšlení, aniž by bylo nutné odesílat vše znovu v kontextu.
Validace pipeline
Pipeline, která analyzuje kód ve více průchodech, může znovu využít úvahy z prvního průchodu (identifikace problémů) pro druhý průchod (návrh oprav).
Interaktivní tutor
Doučovací systém může uložit úvahy modelu vysvětlujícího daný koncept a poté je znovu využít, když se student zeptá na navazující otázky.
Klíčové poznatky
- Šifrované úvahy lze znovu vložit do následujících požadavků prostřednictvím pole
input - Tento mechanismus udržuje kontinuitu úvah bez regenerace tokenů
- Šifrované úvahy jsou svázány s modelem, který je vytvořil
- Nikdy neměň šifrovaný obsah: stane se neplatným
- Užitečné pro vícekolové konverzace, pipeline a interaktivní systémy