Ajatustenkäytön hyödyntäminen myöhemmissä pyynnöissä
Tällä sivulla
Ajatusten välimuisti (Thought Cache)
Yksi xAI:n salatun päättelyjärjestelmän tehokkaimmista ominaisuuksista on mahdollisuus syöttää uudelleen edellisen pyynnön päättelyketju uuteen pyyntöön. Tämä mekanismi, jota voidaan kutsua “ajatusten välimuistiksi”, antaa mallin jatkaa päättelyä siitä kohdasta, mihin se jäi.
Toimintaperiaate
Prosessi koostuu kolmesta vaiheesta:
- Alkuperäinen pyyntö: lähetät kysymyksen parametrilla
include=["reasoning.encrypted_content"] - Tallennus: säilytät vastauksessa palautetun salatun sisällön
- Seuraava pyyntö: syötät tämän salatun sisällön uudelleen uuteen pyyntöön
Malli tunnistaa salatun päättelyn ja käyttää sitä kontekstina uudelle pohdinnalleen. Se ei aloita alusta: sillä on “muisti” aiemmasta ajatteluprosessistaan.
Vaiheittainen toteutus
Vaihe 1: Alkuperäinen pyyntö päättelyn hakemisella
from openai import OpenAI
client = OpenAI(
api_key="your-api-key",
base_url="https://api.x.ai/v1"
)
# Ensimmäinen pyyntö
response_1 = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Explain Bayes' theorem and give a medical example.",
include=["reasoning.encrypted_content"]
)
# Pura salattu päättely
encrypted_reasoning = None
for item in response_1.output:
if item.type == "reasoning":
encrypted_reasoning = item.encrypted_content
Vaihe 2: Seuraava pyyntö uudelleensyötöllä
# Toinen pyyntö, joka hyötyy edellisestä päättelystä
response_2 = client.responses.create(
model="grok-4.20-0309-reasoning",
input=[
# Syötä edellisen pyynnön salattu päättely uudelleen
{
"type": "reasoning",
"encrypted_content": encrypted_reasoning
},
# Uusi viesti
{
"type": "message",
"role": "user",
"content": "Now, apply this theorem to a COVID test with 95% sensitivity and 99% specificity."
}
],
include=["reasoning.encrypted_content"]
)
Ajatusten välimuistin edut
Päättelyn jatkuvuus
Mallin ei tarvitse rakentaa koko ajatuskontekstia uudelleen. Jos se on jo pohtinut Bayesin teoreemaa, se voi soveltaa sitä suoraan uuteen ongelmaan toistamatta demonstraatiota.
Token-säästöt
Käyttämällä salattua päättelyä uudelleen estät mallia generoimasta päättelytokeneja uudelleen jo käsitellyiltä osin. Pitkissä keskusteluissa säästöt voivat olla merkittäviä.
Johdonmukaisuus
Malli säilyttää johdonmukaisuuden peräkkäisissä vastauksissaan. Se ei ole ristiriidassa itsensä kanssa, sillä sillä on jälki omasta päättelystään.
Rajoitukset ja rajoitteet
- Sama malli: yhden mallin tuottamaa salattua päättelyä ei voi käyttää toisessa mallissa. Grok-4.5:n tuottama päättely ei toimi mallilla grok-4.20-0309-reasoning.
- Koko: salattu sisältö voi olla suurta. Valvo pyyntöjesi kokoa.
- Vanheneminen: salatulla sisällöllä voi olla rajoitettu voimassaoloaika. Älä säilytä sitä loputtomiin tarkistamatta asiaa.
- Ei muokkausta: et voi muuttaa salattua sisältöä. Mikä tahansa muutos tekee siitä virheellisen.
Käyttökohteet tuotantoympäristössä
Monivaiheiset monimutkaiset keskustelut
Keskustelubotille, joka ratkoo matematiikan ongelmia usean vuorovaikutuksen aikana, ajatusten välimuisti säilyttää päättelylangan ilman, että kaikkea tarvitsee lähettää uudelleen kontekstissa.
Validointiputki
Putki, joka analysoi koodia useassa vaiheessa, voi käyttää ensimmäisen vaiheen (ongelmien tunnistaminen) päättelyä toisessa vaiheessa (korjausehdotusten tekeminen).
Interaktiivinen opettaja
Opetusjärjestelmä voi tallentaa mallin päättelyn käsitteen selittämisestä ja käyttää sitä uudelleen, kun opiskelija esittää tarkentavia kysymyksiä.
Keskeiset asiat
- Salattu päättely voidaan syöttää uudelleen myöhemmissä pyynnöissä
input-kentän kautta - Tämä mekanismi säilyttää päättelyn jatkuvuuden ilman tokenien uudelleengenerointia
- Salattu päättely on sidottu siihen malliin, joka sen tuotti
- Älä koskaan muuta salattua sisältöä: se muuttuu virheelliseksi
- Hyödyllinen monivaiheisissa keskusteluissa, putkissa ja interaktiivisissa järjestelmissä