Atkārtoti izmantot spriešanu turpmākajos pieprasījumos
Šajā lapā
Domu kešatmiņa
Viena no xAI šifrētās spriešanas sistēmas visspēcīgākajām funkcijām ir iespēja atkal ievadīt spriešanu no iepriekšēja pieprasījuma jaunā pieprasījumā. Šis mehānisms, kas līdzīgs „domu kešatmiņai”, ļauj modelim turpināt spriešanu tieši tur, kur tas apstājās.
Kā tas darbojas
Process sastāv no trim soļiem:
- Sākotnējais pieprasījums: tu nosūti jautājumu ar parametru
include=["reasoning.encrypted_content"] - Glabāšana: tu saglabā atbildē saņemto šifrēto saturu
- Turpmākais pieprasījums: tu atkal ievadi šo šifrēto saturu jaunajā pieprasījumā
Modelis atpazīst šifrēto spriešanu un izmanto to kā kontekstu savai jaunajai pārdomai. Tas nesāk no nulles: tam ir „atmiņa” par iepriekšējo domāšanas procesu.
Soli pa solim implementācija
1. solis: Sākotnējais pieprasījums ar spriešanas izgūšanu
from openai import OpenAI
client = OpenAI(
api_key="your-api-key",
base_url="https://api.x.ai/v1"
)
# Pirmais pieprasījums
response_1 = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Explain Bayes' theorem and give a medical example.",
include=["reasoning.encrypted_content"]
)
# Izgūst šifrēto spriešanu
encrypted_reasoning = None
for item in response_1.output:
if item.type == "reasoning":
encrypted_reasoning = item.encrypted_content
2. solis: Turpmākais pieprasījums ar atkārtotu ievadi
# Otrais pieprasījums, kas gūst labumu no iepriekšējās spriešanas
response_2 = client.responses.create(
model="grok-4.20-0309-reasoning",
input=[
# Atkal ievada šifrēto spriešanu no iepriekšējā pieprasījuma
{
"type": "reasoning",
"encrypted_content": encrypted_reasoning
},
# Jauns ziņojums
{
"type": "message",
"role": "user",
"content": "Now, apply this theorem to a COVID test with 95% sensitivity and 99% specificity."
}
],
include=["reasoning.encrypted_content"]
)
Domu kešatmiņas priekšrocības
Spriešanas nepārtrauktība
Modelim nav jārekonstruē viss domāšanas konteksts no jauna. Ja tas jau ir spriedis par Beisa teorēmu, tas var to tieši piemērot jaunajai problēmai, neatkārtojot demonstrējumu.
Tokenu ietaupījums
Atkārtoti izmantojot šifrēto spriešanu, tu novērš modelim ģenerēt spriešanas tokenus tai daļai, kas jau ir aptverta. Garās sarunās ietaupījumi var būt nozīmīgi.
Konsekvence
Modelis uztur konsekvenci visās secīgajās atbildēs. Tas nepretrunās pats sev, jo tam ir pieejams tā paša spriešanas process.
Ierobežojumi un limitācijas
- Tas pats modelis: šifrētu spriešanu no viena modeļa nevar izmantot citā modelī. Spriešana, ko ģenerējis grok-4.5, nedarbosies ar grok-4.20-0309-reasoning.
- Izmērs: šifrētais saturs var būt liels. Uzraugi savu pieprasījumu izmērus.
- Derīguma termiņš: šifrētajam saturam var būt ierobežots derīguma periods. Neglabā to beztermiņa, nepārbaudot.
- Bez izmaiņām: tu nevari mainīt šifrēto saturu. Jebkuras izmaiņas padara to nederīgu.
Lietošanas gadījumi ražošanas vidē
Sarežģītas daudzkārtējas sarunas
Čatbotam, kas risina matemātikas uzdevumus vairāku maiņu laikā, domu kešatmiņa uztur spriešanas pavedienu, neprasot nosūtīt visu kontekstu no jauna.
Validācijas konveijers
Konveijers, kas analizē kodu vairākos posmos, var atkārtoti izmantot spriešanu no pirmā posma (problēmu identificēšana) otrajam posmam (risinājumu piedāvāšana).
Interaktīvs tutors
Apmācību sistēma var saglabāt modeļa spriešanu par kāda jēdziena skaidrošanu un pēc tam to atkārtoti izmantot, kad students uzdod papildu jautājumus.
Galvenās atziņas
- Šifrētu spriešanu var atkal ievadīt turpmākajos pieprasījumos, izmantojot lauku
input - Šis mehānisms uztur spriešanas nepārtrauktību, nepārģenerējot tokenus
- Šifrēta spriešana ir saistīta ar modeli, kas to ģenerējis
- Nekad nemaini šifrēto saturu: tas kļūst nederīgs
- Noderīgi daudzkārtējām sarunām, konveijeriem un interaktīvām sistēmām