Laiko limitai, draudžiami parametrai ir konfigūracija
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 3 d. Remiantis „xAI“ geriausios praktikos rekomendacijomis ir Reasoning vadovu: rekomenduojamas laukimo laikas yra bent 900 sekundžių (pavyzdžiuose nurodyta 3 600), o ne „bent 3 600 sekundžių“; samprotavimo modelių sąraše yra „grok-4.6“ ir „grok-4.7“; „grok-4.7“ transliuoja savo samprotavimų santrauką; pašalinti draudžiamų parametrų pagrindimai, kurių nėra dokumentacijoje. Šaltiniai: Geriausia praktika · Samprotavimas.
Teisingai sukonfigūruokite savo samprotavimo užklausas
Samprotavimo modeliai turi specifinių apribojimų, kurių neturi klasikiniai modeliai. Jei šių apribojimų nepaisysi, gali kilti nepastebimų klaidų, netikėtų laiko limito viršijimų arba atsakymai bus sutrumpinti. Šioje pamokoje aptarsime esminius konfigūracijos parametrus.
Laiko limitas: bent 900 sekundžių
„xAI“ geriausios praktikos rekomendacijos reikalauja skirti bent 900 sekundžių vienai užklausai, o ilgiems vertinimams – 1 800 sekundžių ar daugiau; Reasoning vadovo pavyzdžiuose delsos laikas netgi nustatomas į 3 600 sekundžių (1 valandą). Šie skaičiai gali atrodyti dideli, tačiau jie atspindi realybę: gilus sudėtingos problemos samprotavimas gali užtrukti kelias minutes. „xAI“ taip pat rekomenduoja naudoti srautinį perdavimą (streaming), kuris palaiko ryšį aktyvų ilgos generacijos metu.
Kodėl toks ilgas laiko limitas?
Kai samprotavimo modelis apdoroja sudėtingą problemą (matematinį įrodymą, kompleksinę kodo analizę, daugiapakopį samprotavimą), jis potencialiai sugeneruoja tūkstančius vidinių samprotavimo tokenų, prieš suformuluodamas atsakymą. Šis procesas yra linijinis ir negali būti lygiagretinamas.
Laiko limito konfigūracija
import httpx
from openai import OpenAI
# Konfigūracija su dideliu laiko limitu
client = OpenAI(
api_key="your-api-key",
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0, connect=10.0)
)
„JavaScript“ kalboje naudojant „OpenAI“ SDK:
import OpenAI from 'openai';
const client = new OpenAI({
apiKey: 'your-api-key',
baseURL: 'https://api.x.ai/v1',
timeout: 3600 * 1000 // 3600 sekundžių milisekundėmis
});
Žiniatinklio serverio laiko limitas
Jei tavo programa veikia už atvirkštinio proxy serverio („nginx“, „Apache“), taip pat sukonfigūruok serverio pusės laiko limitą:
# nginx
location /api/ {
proxy_read_timeout 3600s;
proxy_connect_timeout 10s;
proxy_send_timeout 3600s;
}
Draudžiami parametrai samprotavimo modeliams
Trys parametrai, dažnai naudojami su klasikiniais modeliais, negali būti siunčiami „xAI“ samprotavimo modeliams: pagal Reasoning vadovą, užklausa, kurioje jų yra, grąžins klaidą. Dokumentacijoje nepateikiama šių draudimų priežastis; tiesiog įsimink šią taisyklę.
presencePenalty
// KLAIDA samprotavimo modeliams
{
"model": "grok-4.20-0309-reasoning",
"presence_penalty": 0.5, // Draudžiama!
"messages": [...]
}
presencePenalty baudžia tokenus, kurie jau pasirodė atsakyme, siekiant skatinti įvairovę.
frequencyPenalty
// KLAIDA samprotavimo modeliams
{
"model": "grok-4.20-0309-reasoning",
"frequency_penalty": 0.3, // Draudžiama!
"messages": [...]
}
frequencyPenalty baudžia tokenus proporcingai jų pasirodymo dažniui.
stop
// KLAIDA samprotavimo modeliams
{
"model": "grok-4.20-0309-reasoning",
"stop": ["\n\n"], // Draudžiama!
"messages": [...]
}
Parametras stop sustabdo generavimą, kai pasirodo konkreti seka. Norėdami apriboti atsakymo ilgį, vietoj to naudokite max_completion_tokens, kuris riboja tik matomą atsakymą, ir formato instrukciją užuominoje (prompt).
Klaidų, susijusių su parametrais, valdymas
Migruodamas esamą kodą į samprotavimo modelį, išvalyk nepalaikomus parametrus:
def prepare_params(model, base_params):
"""Išvalo parametrus samprotavimo modeliams."""
reasoning_models = [
# dabartinis asortimentas
"grok-4.7", "grok-4.6", "grok-4.5", "grok-4.20-0309-reasoning",
# istoriniai identifikatoriai, vis dar esantys esamame kode
"grok-3-mini", "grok-4-fast-reasoning",
]
params = {**base_params, "model": model}
if model in reasoning_models:
# Pašalinti draudžiamus parametrus
for forbidden in ["presence_penalty", "frequency_penalty", "stop"]:
params.pop(forbidden, None)
# Pakeisti max_tokens į max_completion_tokens
if "max_tokens" in params:
params["max_completion_tokens"] = params.pop("max_tokens")
return params
Srautinis perdavimas su samprotavimo modeliais
Srautinis perdavimas veikia su samprotavimo modeliais, tačiau elgsena priklauso nuo generacijos: „grok-3-mini“ (ankstesnė karta) atveju reasoning_content sraute atsirado aiškiai, prieš atsakymo tokenus. „grok-4.20-0309-reasoning“ atveju samprotavimas lieka vidinis ir netransliuojamas: sraute atsiranda tik galutinis atsakymas. Reikšminga išimtis: naudojant „Responses API“, „grok-4.7“ transliuoja savo samprotavimų santrauką response.reasoning_summary_text.delta įvykiuose, kuriuos gali rodyti prieš patį atsakymą.
Istorinis pavyzdys su „grok-3-mini“:
stream = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": "Why is the sky blue?"}],
reasoning_effort="high",
stream=True
)
for chunk in stream:
delta = chunk.choices[0].delta
if hasattr(delta, 'reasoning_content') and delta.reasoning_content:
print(f"[Reasoning] {delta.reasoning_content}", end="")
elif delta.content:
print(f"[Response] {delta.content}", end="")
Svarbiausi punktai
- Skirk bent 900 sekundžių vienai užklausai (3 600 Reasoning vadovo pavyzdžiuose) ir teik pirmenybę srautiniam perdavimui
- Trys parametrai yra draudžiami:
presencePenalty,frequencyPenaltyirstop - Migruojant nuo klasikinių modelių, išvalyk parametrus
- Vietoj
max_tokensnaudokmax_completion_tokens - Srautinis perdavimas veikia, tačiau elgsena skiriasi priklausomai nuo modelio