Ponovna upotreba rezoniranja u narednim zahtjevima
Na ovoj stranici
Predmemorija razmišljanja (Thought Cache)
Jedna od najmoćnijih značajki xAI-jevog šifriranog sustava za rezoniranje jest mogućnost ponovnog ubacivanja rezoniranja iz prethodnog zahtjeva u novi. Ovaj mehanizam, sličan „predmemoriji razmišljanja“, omogućuje modelu da nastavi s rezoniranjem točno ondje gdje je stao.
Kako funkcionira
Proces se sastoji od tri koraka:
- Početni zahtjev: šalješ pitanje s parametrom
include=["reasoning.encrypted_content"] - Pohrana: čuvaš šifrirani sadržaj vraćen u odgovoru
- Naredni zahtjev: ponovno ubacuješ taj šifrirani sadržaj u novi zahtjev
Model prepoznaje šifrirano rezoniranje i koristi ga kao kontekst za svoje novo razmišljanje. Ne kreće ispočetka: ima „sjećanje“ na svoj prethodni tijek razmišljanja.
Implementacija korak po korak
Korak 1: Početni zahtjev s dohvaćanjem rezoniranja
from openai import OpenAI
client = OpenAI(
api_key="your-api-key",
base_url="https://api.x.ai/v1"
)
# Prvi zahtjev
response_1 = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Explain Bayes' theorem and give a medical example.",
include=["reasoning.encrypted_content"]
)
# Izdvajanje šifriranog rezoniranja
encrypted_reasoning = None
for item in response_1.output:
if item.type == "reasoning":
encrypted_reasoning = item.encrypted_content
Korak 2: Naredni zahtjev s ponovnim ubacivanjem
# Drugi zahtjev koji ima koristi od prethodnog rezoniranja
response_2 = client.responses.create(
model="grok-4.20-0309-reasoning",
input=[
# Ponovno ubacivanje šifriranog rezoniranja iz prethodnog zahtjeva
{
"type": "reasoning",
"encrypted_content": encrypted_reasoning
},
# Nova poruka
{
"type": "message",
"role": "user",
"content": "Now, apply this theorem to a COVID test with 95% sensitivity and 99% specificity."
}
],
include=["reasoning.encrypted_content"]
)
Prednosti predmemorije razmišljanja
Kontinuitet rezoniranja
Model ne mora iznova rekonstruirati cijeli kontekst razmišljanja. Ako je već rezonirao o Bayesovom teoremu, može ga izravno primijeniti na novi problem bez ponovnog objašnjavanja demonstracije.
Ušteda tokena
Ponovnom upotrebom šifriranog rezoniranja sprječavaš model da ponovno generira tokene za rezoniranje u već obrađenom dijelu. U dugim razgovorima uštede mogu biti značajne.
Dosljednost
Model održava dosljednost u svojim uzastopnim odgovorima. Neće si proturječiti jer ima trag vlastitog rezoniranja.
Ograničenja i ograničenja
- Isti model: šifrirano rezoniranje iz jednog modela ne može se ponovno upotrijebiti u drugom modelu. Rezoniranje koje je proizveo grok-4.5 neće raditi s grok-4.20-0309-reasoning.
- Veličina: šifrirani sadržaj može biti velik. Prati veličine svojih zahtjeva.
- Istek: šifrirani sadržaj može imati ograničeno razdoblje valjanosti. Nemoj ga pohranjivati na neodređeno vrijeme bez provjere.
- Bez izmjena: ne možeš mijenjati šifrirani sadržaj. Svaka izmjena čini ga nevažećim.
Upotreba u proizvodnji
Složeni razgovori s više okreta
Za chatbota koji rješava matematičke probleme kroz nekoliko razmjena, predmemorija razmišljanja održava nit rezoniranja bez potrebe za ponovnim slanjem svega u kontekstu.
Cjevovod za validaciju
Cjevovod koji analizira kod u više prolaza može ponovno upotrijebiti rezoniranje iz prvog prolaza (identificiranje problema) za drugi prolaz (predlaganje ispravaka).
Interaktivni tutor
Sustav za podučavanje može pohraniti rezoniranje modela o objašnjavanju pojma, a zatim ga ponovno upotrijebiti kada učenik postavi dodatna pitanja.
Ključne točke
- Šifrirano rezoniranje može se ponovno ubaciti u naredne zahtjeve putem polja
input - Ovaj mehanizam održava kontinuitet rezoniranja bez ponovnog generiranja tokena
- Šifrirano rezoniranje vezano je uz model koji ga je proizveo
- Nikada ne mijenjaj šifrirani sadržaj: postaje nevažeći
- Korisno za razgovore s više okreta, cjevovode i interaktivne sustave