Põhjenduste taaskasutamine järgnevates päringutes
Sellel lehel
Mõtte vahemälu
Üks xAI krüpteeritud põhjendussüsteemi võimsamaid omadusi on võimalus sisestada uuesti eelmise päringu põhjendused uude päringusse. See mehhanism, mida võib nimetada „mõtte vahemäluks“, võimaldab mudelil jätkata mõtlemist sealt, kus see pooleli jäi.
Kuidas see toimib
Protsess koosneb kolmest sammust:
- Esmane päring: saadad küsimuse parameetriga
include=["reasoning.encrypted_content"] - Salvestamine: hoiad alles vastuses tagastatud krüpteeritud sisu
- Järgnev päring: sisestad selle krüpteeritud sisu uude päringusse tagasi
Mudel tunneb krüpteeritud põhjenduse ära ja kasutab seda oma uue arutluskäigu kontekstina. See ei alusta nullist: tal on „mälu“ oma eelmisest mõtteprotsessist.
Samm-sammuline rakendamine
1. samm: Esmane päring põhjenduse hankimisega
from openai import OpenAI
client = OpenAI(
api_key="your-api-key",
base_url="https://api.x.ai/v1"
)
# Esmane päring
response_1 = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Explain Bayes' theorem and give a medical example.",
include=["reasoning.encrypted_content"]
)
# Krüpteeritud põhjenduse eraldamine
encrypted_reasoning = None
for item in response_1.output:
if item.type == "reasoning":
encrypted_reasoning = item.encrypted_content
2. samm: Järgnev päring uuesti sisestamisega
# Teine päring, mis saab kasu eelmisest põhjendusest
response_2 = client.responses.create(
model="grok-4.20-0309-reasoning",
input=[
# Eelmise päringu krüpteeritud põhjenduse uuesti sisestamine
{
"type": "reasoning",
"encrypted_content": encrypted_reasoning
},
# Uus sõnum
{
"type": "message",
"role": "user",
"content": "Now, apply this theorem to a COVID test with 95% sensitivity and 99% specificity."
}
],
include=["reasoning.encrypted_content"]
)
Mõtte vahemälu eelised
Põhjenduse järjepidevus
Mudelil pole vaja kogu mõttekonteksti uuesti üles ehitada. Kui see on juba arutlenud Bayesi teoreemi üle, saab seda uuele probleemile otse rakendada, ilma et peaks demonstratsiooni uuesti läbi kordama.
Tokenite kokkuhoid
Kasutades krüpteeritud põhjendusi uuesti, hoiad ära selle, et mudel genereeriks juba käsitletud osa jaoks uuesti põhjendustokeneid. Pikemates vestlustes võib kokkuhoid olla märkimisväärne.
Järjekindlus
Mudel säilitab oma järjestikuste vastuste vahel järjekindluse. See ei hakka endale vastu rääkima, kuna tal on olemas oma mõttekäigu jälg.
Piirangud ja kitsendused
- Sama mudel: ühe mudeli krüpteeritud põhjendusi ei saa kasutada teises mudelis. Grok-4.5 loodud põhjendused ei tööta mudeliga grok-4.20-0309-reasoning.
- Suurus: krüpteeritud sisu võib olla mahukas. Jälgi oma päringute suurust.
- Aegumine: krüpteeritud sisul võib olla piiratud kehtivusaeg. Ära salvesta seda määramata ajaks ilma kontrollimata.
- Muutmise keeld: sa ei tohi krüpteeritud sisu muuta. Igasugune muutmine muudab selle kehtetuks.
Kasutusjuhud tootmises
Komplekssed mitme vooruga vestlused
Matemaatikaülesandeid lahendava vestlusroboti puhul, mis suhtleb mitmes voorus, hoiab mõtte vahemälu alal põhjendusniiti, ilma et peaks kogu konteksti uuesti saatma.
Kinnitamise töövoog
Töövoog, mis analüüsib koodi mitmes etapis, saab esimese etapi (probleemide tuvastamine) põhjendusi kasutada teises etapis (paranduste ettepanek).
Interaktiivne õpetaja
Õpetussüsteem saab salvestada mudeli põhjendused kontseptsiooni selgitamise kohta ja seejärel neid uuesti kasutada, kui õpilane esitab täpsustavaid küsimusi.
Peamised punktid
- Krüpteeritud põhjendusi saab järgnevates päringutes uuesti sisestada välja
inputkaudu - See mehhanism säilitab põhjenduse järjepidevuse, ilma et peaksite tokeneid uuesti genereerima
- Krüpteeritud põhjendus on seotud mudeliga, mis selle lõi
- Ära kunagi muuda krüpteeritud sisu: see muutub kehtetuks
- Kasulik mitme vooruga vestlustes, töövoogudes ja interaktiivsetes süsteemides