Időtúllépés, tiltott paraméterek és konfiguráció
Ezen az oldalon
Frissítve: 2026. november 3. Az xAI legjobb gyakorlatai és a Reasoning útmutató alapján: a javasolt várakozási idő legalább 900 másodperc (a példákban 3600), nem pedig „legalább 3600 másodperc“; a következtető modellek listája tartalmazza a grok-4.6 és grok-4.7 modelleket; a grok-4.7 streameli a következtetési összefoglalóját; eltávolítottuk a dokumentációból hiányzó, tiltott paraméterekre vonatkozó indoklásokat. Források: Legjobb gyakorlatok · Reasoning.
Következtető kérések helyes konfigurálása
A következtető modelleknek vannak olyan sajátos korlátai, amelyek a klasszikus modellekre nem jellemzőek. Ezen korlátok figyelmen kívül hagyása csendes hibákhoz, váratlan időtúllépésekhez vagy csonkított válaszokhoz vezethet. Ez a lecke a lényeges konfigurációs paramétereket tárgyalja.
Időtúllépés: legalább 900 másodperc
Az xAI legjobb gyakorlatai kérésenként legalább 900 másodpercet írnak elő, hosszú kiértékelések esetén pedig 1800 másodpercet vagy többet; a Reasoning útmutató példái pedig akár 3600 másodperces (1 órás) késleltetést is beállítanak. Ezek a számok magasnak tűnhetnek, de a valóságot tükrözik: egy összetett probléma mélyreható következtetése több percet is igénybe vehet. Az xAI azt is javasolja, hogy részesítsd előnyben a streamelést, amely hosszú generálások során aktívan tartja a kapcsolatot.
Miért ilyen hosszú az időtúllépés?
Amikor egy következtető modell nehéz feladatot dolgoz fel (matematikai bizonyítás, összetett kódelemzés, többlépéses következtetés), potenciálisan több ezer belső következtetési tokent generál, mielőtt megfogalmazná a válaszát. Ez a folyamat lineáris, és nem párhuzamosítható.
Időtúllépés konfigurálása
import httpx
from openai import OpenAI
# Konfiguráció magas időtúllépéssel
client = OpenAI(
api_key="your-api-key",
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0, connect=10.0)
)
JavaScriptben az OpenAI SDK-val:
import OpenAI from 'openai';
const client = new OpenAI({
apiKey: 'your-api-key',
baseURL: 'https://api.x.ai/v1',
timeout: 3600 * 1000 // 3600 másodperc milliszekundumban
});
Webszerver időtúllépése
Ha az alkalmazásod fordított proxy (nginx, Apache) mögött fut, konfiguráld a szerveroldali időtúllépést is:
# nginx
location /api/ {
proxy_read_timeout 3600s;
proxy_connect_timeout 10s;
proxy_send_timeout 3600s;
}
Tiltott paraméterek a következtető modelleknél
Három, a klasszikus modelleknél gyakran használt paraméter nem küldhető el az xAI következtető modelljeinek: a Reasoning útmutató szerint az ezeket tartalmazó kérés hibát eredményez. A dokumentáció nem ad indoklást ezekre a tiltásokra; jegyezd meg a szabályt.
presencePenalty
// HIBA a következtető modelleknél
{
"model": "grok-4.20-0309-reasoning",
"presence_penalty": 0.5, // Tiltott!
"messages": [...]
}
A presencePenalty bünteti azokat a tokeneket, amelyek már megjelentek a válaszban, ezzel ösztönözve a változatosságot.
frequencyPenalty
// HIBA a következtető modelleknél
{
"model": "grok-4.20-0309-reasoning",
"frequency_penalty": 0.3, // Tiltott!
"messages": [...]
}
A frequencyPenalty a tokeneket megjelenésük gyakoriságával arányosan bünteti.
stop
// HIBA a következtető modelleknél
{
"model": "grok-4.20-0309-reasoning",
"stop": ["\n\n"], // Tiltott!
"messages": [...]
}
A stop paraméter leállítja a generálást, amikor egy adott szekvencia megjelenik. A válasz hosszának korlátozására ehelyett a max_completion_tokens paramétert használd, amely csak a látható választ korlátozza, valamint alkalmazz formázási utasítást a promptban.
Paraméterekkel kapcsolatos hibák kezelése
Meglévő kód következtető modellre való átállásakor távolítsd el a nem támogatott paramétereket:
def prepare_params(model, base_params):
"""Tisztítja a paramétereket a következtető modellek számára."""
reasoning_models = [
# jelenlegi kínálat
"grok-4.7", "grok-4.6", "grok-4.5", "grok-4.20-0309-reasoning",
# történelmi azonosítók, még mindig jelen vannak a meglévő kódban
"grok-3-mini", "grok-4-fast-reasoning",
]
params = {**base_params, "model": model}
if model in reasoning_models:
# Tiltott paraméterek eltávolítása
for forbidden in ["presence_penalty", "frequency_penalty", "stop"]:
params.pop(forbidden, None)
# A max_tokens cseréje max_completion_tokens-ra
if "max_tokens" in params:
params["max_completion_tokens"] = params.pop("max_tokens")
return params
Streamelés következtető modellekkel
A streamelés működik a következtető modellekkel, de a viselkedés a generálástól függ: a grok-3-mini (előző generáció) esetén a reasoning_content tisztán jelent meg a streamben, a választokenek előtt. A grok-4.20-0309-reasoning esetén a következtetés belső marad, és nem streamelődik: csak a végső válasz érkezik meg a streamben. Figyelemre méltó kivétel: a Responses API-n a grok-4.7 streameli a következtetésének összefoglalóját a response.reasoning_summary_text.delta eseményekben, amelyeket a válasz előtt megjeleníthetsz.
Történelmi példa a grok-3-mini használatával:
stream = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": "Why is the sky blue?"}],
reasoning_effort="high",
stream=True
)
for chunk in stream:
delta = chunk.choices[0].delta
if hasattr(delta, 'reasoning_content') and delta.reasoning_content:
print(f"[Reasoning] {delta.reasoning_content}", end="")
elif delta.content:
print(f"[Response] {delta.content}", end="")
Főbb megállapítások
- Engedélyezz legalább 900 másodpercet kérésenként (3600-at a Reasoning útmutató példáiban), és részesítsd előnyben a streamelést
- Három paraméter tiltott:
presencePenalty,frequencyPenaltyésstop - Tisztítsd meg a paramétereket klasszikus modellekről való átálláskor
- Használd a
max_completion_tokensparamétert amax_tokenshelyett - A streamelés működik, de a viselkedés modellenként eltérő