Aikakatkaisu, kielletyt parametrit ja konfiguraatio
Tällä sivulla
Päivitetty 3. marraskuuta 2026. Perustuen xAI:n parhaisiin käytäntöihin ja Reasoning-oppaaseen: suositeltu odotusaika on vähintään 900 sekuntia (esimerkeissä 3 600), ei “vähintään 3 600 sekuntia”; päättelymallien lista sisältää mallit grok-4.6 ja grok-4.7; grok-4.7 lähettää virrassa yhteenvedon päättelystään; dokumentaatiosta puuttuvat perustelut kielletyille parametreille on poistettu. Lähteet: Parhaat käytännöt · Päättely.
Määritä päättelypyyntösi oikein
Päättelymalleilla on erityisiä rajoituksia, joita perinteisillä malleilla ei ole. Näiden rajoitusten huomiotta jättäminen voi aiheuttaa hiljaisia virheitä, odottamattomia aikakatkaisuja tai typistyneitä vastauksia. Tämä oppitunti käsittelee olennaisia konfiguraatioparametreja.
Aikakatkaisu: vähintään 900 sekuntia
xAI:n parhaat käytännöt edellyttävät vähintään 900 sekuntia pyyntöä kohti ja 1 800 sekuntia tai enemmän pitkiin arviointeihin; Reasoning-oppaan esimerkeissä viive on asetettu jopa 3 600 sekuntiin (1 tunti). Nämä luvut voivat vaikuttaa suurilta, mutta ne vastaavat todellisuutta: syvällinen päättely monimutkaisessa ongelmassa voi kestää useita minuutteja. xAI suosittelee myös ensisijaisesti virransiirron (streaming) käyttöä, mikä pitää yhteyden aktiivisena pitkien generointien aikana.
Miksi näin pitkä aikakatkaisu?
Kun päättelymalli käsittelee vaikeaa ongelmaa (matemaattinen todistus, monimutkainen koodianalyysi, monivaiheinen päättely), se saattaa generoida tuhansia sisäisiä päättelytokeneita ennen vastauksen muotoilua. Tämä prosessi on lineaarinen, eikä sitä voi rinnakkaistaa.
Aikakatkaisun konfigurointi
import httpx
from openai import OpenAI
# Konfiguraatio korkealla aikakatkaisulla
client = OpenAI(
api_key="your-api-key",
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0, connect=10.0)
)
JavaScriptissä OpenAI SDK:n kanssa:
import OpenAI from 'openai';
const client = new OpenAI({
apiKey: 'your-api-key',
baseURL: 'https://api.x.ai/v1',
timeout: 3600 * 1000 // 3600 sekuntia millisekunteina
});
Verkkopalvelimen aikakatkaisu
Jos sovelluksesi on käänteisen välityspalvelimen (nginx, Apache) takana, määritä myös palvelinpuolen aikakatkaisu:
# nginx
location /api/ {
proxy_read_timeout 3600s;
proxy_connect_timeout 10s;
proxy_send_timeout 3600s;
}
Kielletyt parametrit päättelymalleissa
Kolmea perinteisissä malleissa yleisesti käytettyä parametria ei voi lähettää xAI:n päättelymalleille: Reasoning-oppaan mukaan nämä parametrit sisältävä pyyntö palauttaa virheen. Dokumentaatio ei kerro näiden kieltojen syytä; muista vain sääntö.
presencePenalty
// VIRHE päättelymalleissa
{
"model": "grok-4.20-0309-reasoning",
"presence_penalty": 0.5, // Kielletty!
"messages": [...]
}
presencePenalty rankaisee tokeneita, jotka ovat jo esiintyneet vastauksessa, edistääkseen monimuotoisuutta.
frequencyPenalty
// VIRHE päättelymalleissa
{
"model": "grok-4.20-0309-reasoning",
"frequency_penalty": 0.3, // Kielletty!
"messages": [...]
}
frequencyPenalty rankaisee tokeneita suhteessa niiden esiintymistiheyteen.
stop
// VIRHE päättelymalleissa
{
"model": "grok-4.20-0309-reasoning",
"stop": ["\n\n"], // Kielletty!
"messages": [...]
}
stop-parametri pysäyttää generoinnin, kun tietty sekvenssi ilmestyy. Vastauksen pituuden rajoittamiseen käytä sen sijaan max_completion_tokens-parametria, joka rajoittaa vain näkyvää vastausta, sekä kehoteeseen sisällytettyä muotoiluohjetta.
Parametreihin liittyvien virheiden käsittely
Siirrettäessä olemassa olevaa koodia päättelymalliin, siivoi tukemattomat parametrit:
def prepare_params(model, base_params):
"""Siivoaa parametrit päättelymalleille."""
reasoning_models = [
# nykyinen valikoima
"grok-4.7", "grok-4.6", "grok-4.5", "grok-4.20-0309-reasoning",
# historialliset tunnisteet, edelleen olemassa olevassa koodissa
"grok-3-mini", "grok-4-fast-reasoning",
]
params = {**base_params, "model": model}
if model in reasoning_models:
# Poista kielletyt parametrit
for forbidden in ["presence_penalty", "frequency_penalty", "stop"]:
params.pop(forbidden, None)
# Korvaa max_tokens parametrilla max_completion_tokens
if "max_tokens" in params:
params["max_completion_tokens"] = params.pop("max_tokens")
return params
Virransiirto päättelymallien kanssa
Virransiirto toimii päättelymallien kanssa, mutta käyttäytyminen riippuu generoinnista: grok-3-minissä (edellinen sukupolvi) reasoning_content appeared selkeänä virrassa ennen vastaus tokeneita. Mallissa grok-4.20-0309-reasoning päättely pysyy sisäisenä eikä sitä siirretä virrassa: vain lopullinen vastaus saapuu virtaan. Huomattava poikkeus: Responses API:ssa grok-4.7 lähettää virrassa yhteenvedon päättelystään tapahtumissa response.reasoning_summary_text.delta, jotka voit näyttää ennen vastausta.
Historiallinen esimerkki grok-3-minillä:
stream = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": "Why is the sky blue?"}],
reasoning_effort="high",
stream=True
)
for chunk in stream:
delta = chunk.choices[0].delta
if hasattr(delta, 'reasoning_content') and delta.reasoning_content:
print(f"[Reasoning] {delta.reasoning_content}", end="")
elif delta.content:
print(f"[Response] {delta.content}", end="")
Keskeiset asiat
- Salli vähintään 900 sekuntia pyyntöä kohti (3 600 Reasoning-oppaan esimerkeissä) ja suosita virransiirtoa
- Kolme parametria on kielletty:
presencePenalty,frequencyPenaltyjastop - Siivoa parametrit siirryttäessä perinteisistä malleista
- Käytä
max_completion_tokensparametriamax_tokensin sijaan - Virransiirto toimii, mutta käyttäytyminen vaihtelee mallin mukaan