Opätovné využitie logiky v nasledujúcich požiadavkách
Na tejto strane
Medzipamäť myšlienok (Thought Cache)
Jednou z najsilnejších vlastností šifrovaného systému logiky od xAI je možnosť opätovne vložiť logiku z predchádzajúcej požiadavky do novej. Tento mechanizmus, podobný „medzipamäti myšlienok“, umožňuje modelu pokračovať v úvahe presne tam, kde skončil.
Ako to funguje
Proces pozostáva z troch krokov:
- Počiatočná požiadavka: odošleš otázku s parametrom
include=["reasoning.encrypted_content"] - Uloženie: uložíš šifrovaný obsah vrátený v odpovedi
- Následná požiadavka: tento šifrovaný obsah opätovne vložíš do novej požiadavky
Model rozpozná šifrovanú logiku a použije ju ako kontext pre svoju novú úvahu. Nezačína od nuly: má „pamäť“ svojho predchádzajúceho procesu uvažovania.
Implementácia krok za krokom
Krok 1: Počiatočná požiadavka so získaním logiky
from openai import OpenAI
client = OpenAI(
api_key="your-api-key",
base_url="https://api.x.ai/v1"
)
# Prvá požiadavka
response_1 = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Explain Bayes' theorem and give a medical example.",
include=["reasoning.encrypted_content"]
)
# Extrakcia šifrovanej logiky
encrypted_reasoning = None
for item in response_1.output:
if item.type == "reasoning":
encrypted_reasoning = item.encrypted_content
Krok 2: Následná požiadavka s opätovným vložením
# Druhá požiadavka využívajúca predchádzajúcu logiku
response_2 = client.responses.create(
model="grok-4.20-0309-reasoning",
input=[
# Opätovné vloženie šifrovanej logiky z predchádzajúcej požiadavky
{
"type": "reasoning",
"encrypted_content": encrypted_reasoning
},
# Nová správa
{
"type": "message",
"role": "user",
"content": "Now, apply this theorem to a COVID test with 95% sensitivity and 99% specificity."
}
],
include=["reasoning.encrypted_content"]
)
Výhody medzipamäte myšlienok
Kontinuita logiky
Model nemusí nanovo vytvárať celý kontext úvahy. Ak už uvažoval o Bayesovej vete, môže ju priamo aplikovať na nový problém bez opätovného rozoberania demonštrácie.
Úspora tokenov
Opätovným použitím šifrovanej logiky zabrániš modelu v opätovnom generovaní tokenov logiky pre už pokrytú časť. Pri dlhých konverzáciách môžu byť úspory významné.
Konzistencia
Model si zachováva konzistenciu vo svojich postupných odpovediach. Nebude si protirečiť, keďže má k dispozícii záznam vlastnej logiky.
Obmedzenia a limity
- Rovnaký model: šifrovanú logiku z jedného modelu nemožno použiť v inom modeli. Logika vygenerovaná modelom grok-4.5 nebude fungovať s modelom grok-4.20-0309-reasoning.
- Veľkosť: šifrovaný obsah môže byť rozsiahly. Sleduj veľkosť svojich požiadaviek.
- Expirácia: šifrovaný obsah môže mať obmedzenú dobu platnosti. Neukladaj ho na neurčito bez overenia.
- Žiadne úpravy: šifrovaný obsah nemôžeš meniť. Akákoľvek zmena ho zneplatní.
Prípady použitia v produkcii
Zložité viac-krokové konverzácie
Pre chatbota riešiaceho matematické úlohy počas niekoľkých výmen udržuje medzipamäť myšlienok vlákno logiky bez potreby opätovného odosielania všetkého v kontexte.
Overovací pipeline
Pipeline, ktorý analyzuje kód vo viacerých prechodoch, môže opätovne využiť logiku z prvého prechodu (identifikácia problémov) pre druhý prechod (návrh opráv).
Interaktívny tutor
Tutorský systém môže uložiť logiku modelu týkajúcu sa vysvetlenia konceptu a následne ju znovu použiť, keď sa študent opýta na nadväzujúce otázky.
Kľúčové poznatky
- Šifrovanú logiku možno opätovne vložiť do následných požiadaviek prostredníctvom poľa
input - Tento mechanizmus udržuje kontinuitu logiky bez opätovného generovania tokenov
- Šifrovaná logika je viazaná na model, ktorý ju vygeneroval
- Nikdy neupravuj šifrovaný obsah: stane sa neplatným
- Užitočné pre viac-krokové konverzácie, pipeline a interaktívne systémy