Ponovna uporaba sklepanja v naslednjih zahtevah
Na tej strani
Predpomnilnik razmišljanja
Ena najzmogljivejših funkcij šifriranega sistema za sklepanje podjetja xAI je možnost ponovnega vbrizganja sklepanja iz prejšnje zahteve v novo. Ta mehanizem, podoben „predpomnilniku razmišljanja”, modelu omogoča, da nadaljuje sklepanje tam, kjer je prenehal.
Kako deluje
Postopek obsega tri korake:
- Začetna zahteva: pošlješ vprašanje s parametrom
include=["reasoning.encrypted_content"] - Shranjevanje: shraniš šifrirano vsebino, vrnjeno v odgovoru
- Naslednja zahteva: to šifrirano vsebino ponovno vbrizgaš v novo zahtevo
Model prepozna šifrirano sklepanje in ga uporabi kot kontekst za svoje novo razmišljanje. Ne začne znova: ima „spomin” na svoj prejšnji miselni proces.
Implementacija po korakih
1. korak: Začetna zahteva s pridobivanjem sklepanja
from openai import OpenAI
client = OpenAI(
api_key="your-api-key",
base_url="https://api.x.ai/v1"
)
# Prva zahteva
response_1 = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Explain Bayes' theorem and give a medical example.",
include=["reasoning.encrypted_content"]
)
# Izloči šifrirano sklepanje
encrypted_reasoning = None
for item in response_1.output:
if item.type == "reasoning":
encrypted_reasoning = item.encrypted_content
2. korak: Naslednja zahteva s ponovnim vbrizganjem
# Druga zahteva, ki izkorišča prejšnje sklepanje
response_2 = client.responses.create(
model="grok-4.20-0309-reasoning",
input=[
# Ponovno vbrizgaj šifrirano sklepanje iz prejšnje zahteve
{
"type": "reasoning",
"encrypted_content": encrypted_reasoning
},
# Novo sporočilo
{
"type": "message",
"role": "user",
"content": "Now, apply this theorem to a COVID test with 95% sensitivity and 99% specificity."
}
],
include=["reasoning.encrypted_content"]
)
Prednosti predpomnilnika razmišljanja
Neprekinjenost sklepanja
Modelu ni treba znova zgraditi celotnega miselnega konteksta. Če je že razmišljal o Bayesovem izreku, ga lahko neposredno uporabi za nov problem, ne da bi ponavljal razlago.
Prihranek žetonov
S ponovno uporabo šifriranega sklepanja preprečiš, da bi model znova ustvaril žetone za sklepanje za že obravnavani del. Pri dolgih pogovorih so prihranki lahko znatni.
Doslednost
Model ohranja doslednost med zaporednimi odgovori. Ne bo si nasprotoval, saj ima sled svojega lastnega razmišljanja.
Omejitve in omejevalni dejavniki
- Isti model: šifriranega sklepanja iz enega modela ni mogoče ponovno uporabiti v drugem modelu. Sklepanje, ki ga ustvari grok-4.5, ne bo delovalo z grok-4.20-0309-reasoning.
- Velikost: šifrirana vsebina je lahko obsežna. Spremljaj velikosti svojih zahtev.
- Potek veljavnosti: šifrirana vsebina ima lahko omejen čas veljavnosti. Ne shranjuj je nedoločen čas brez preverjanja.
- Brez spreminjanja: šifrirane vsebine ne moreš spreminjati. Vsakršna sprememba jo naredi neveljavno.
Primeri uporabe v proizvodnem okolju
Kompleksni pogovori z več izmenjavami
Za klepetalnega robota, ki rešuje matematične naloge v več izmenjavah, predpomnilnik razmišljanja ohranja nit sklepanja, ne da bi bilo treba vse znova pošiljati v kontekstu.
Pipeline za validacijo
Pipeline, ki analizira kodo v več korakih, lahko ponovno uporabi sklepanje iz prvega koraka (identifikacija težav) za drugi korak (predlaganje popravkov).
Interaktivni tutor
Tutorski sistem lahko shrani modelovo sklepanje pri razlagi koncepta in ga nato ponovno uporabi, ko študent zastavi dodatna vprašanja.
Ključne ugotovitve
- Šifrirano sklepanje lahko ponovno vbrizgaš v naslednje zahteve prek polja
input - Ta mehanizem ohranja neprekinjenost sklepanja brez ponovnega ustvarjanja žetonov
- Šifrirano sklepanje je vezano na model, ki ga je ustvaril
- Nikoli ne spreminjaj šifrirane vsebine: postane neveljavna
- Uporabno za pogovore z več izmenjavami, pipeline in interaktivne sisteme