Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Ajaline piirang, keelatud parameetrid ja konfiguratsioon

Õppetund 11 / 12 Värskendatud 3. november 2026 Arendajatele
Sellel lehel
  1. Konfigureeri oma mõtlemispäringud õigesti
  2. Ajaline piirang: vähemalt 900 sekundit
  3. Keelatud parameetrid mõtlemismudelitel
  4. Parameetritega seotud vigade käsitlemine
  5. Voogedastus mõtlemismudelitel
  6. Peamised punktid

Uuendatud 3. novembril 2026. Lähtudes xAI parimatest tavadest ja Reasoning juhendist: soovitatav ooteaeg on vähemalt 900 sekundit (näidetes 3600), mitte „vähemalt 3600 sekundit“; mõtlemismudelite loend sisaldab grok-4.6 ja grok-4.7; grok-4.7 edastab voogedastusena oma mõttekäigu kokkuvõtte; eemaldatud on keelatud parameetrite põhjendused, mida dokumentatsioonis ei leidu. Allikad: Parimad tavad · Mõtlemine.

Konfigureeri oma mõtlemispäringud õigesti

Mõtlemismudelitel on spetsiifilised piirangud, mida klassikalistel mudelitel pole. Nende piirangute eiramine võib põhjustada vaikivaid vigu, ootamatuid ajalisi katkestusi või lühendatud vastuseid. See tund käsitleb olulisi konfiguratsiooniparameetreid.

Ajaline piirang: vähemalt 900 sekundit

xAI parimad tavad nõuavad päringu kohta vähemalt 900 sekundit ja pikkade hindamiste puhul 1800 sekundit või rohkem; Reasoning juhendi näited seavad viiteks isegi 3600 sekundit (1 tund). Need numbrid võivad tunduda suured, kuid need peegeldavad tegelikkust: keerulise probleemi sügav mõtlemine võib võtta mitu minutit. xAI soovitab ka eelistada voogedastust, mis hoiab ühenduse pika genereerimise ajal aktiivsena.

Miks nii pikk ajaline piirang?

Kui mõtlemismudel töötleb keerulist ülesannet (matemaatiline tõestus, kompleksne koodianalüüs, mitmeastmeline arutluskäik), genereerib see enne vastuse formuleerimist potentsiaalselt tuhandeid sisemisi mõtlemise tokeneid. See protsess on lineaarne ja seda ei saa paralleelida.

Ajalise piirangu konfiguratsioon

import httpx
from openai import OpenAI

# Konfiguratsioon suure ajalise piiranguga
client = OpenAI(
    api_key="your-api-key",
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(3600.0, connect=10.0)
)

JavaScriptis OpenAI SDK-ga:

import OpenAI from 'openai';

const client = new OpenAI({
  apiKey: 'your-api-key',
  baseURL: 'https://api.x.ai/v1',
  timeout: 3600 * 1000  // 3600 sekundit millisekundites
});

Veebiserveri ajaline piirang

Kui sinu rakendus töötab pöördproksi (nginx, Apache) taga, konfigureeri ka serveripoolne ajaline piirang:

# nginx
location /api/ {
    proxy_read_timeout 3600s;
    proxy_connect_timeout 10s;
    proxy_send_timeout 3600s;
}

Keelatud parameetrid mõtlemismudelitel

Kolm parameetrit, mida klassikalistel mudelitel sageli kasutatakse, ei saa saata xAI mõtlemismudelitele: vastavalt Reasoning juhendile tagastab neid sisaldav päring vea. Dokumentatsioon ei selgita nende keeldude põhjuseid; pea lihtsalt reeglit meeles.

presencePenalty

// VIGA mõtlemismudelitel
{
  "model": "grok-4.20-0309-reasoning",
  "presence_penalty": 0.5,  // Keelatud!
  "messages": [...]
}

presencePenalty karistab tokeneid, mis on vastuses juba esinenud, et soodustada mitmekesisust.

frequencyPenalty

// VIGA mõtlemismudelitel
{
  "model": "grok-4.20-0309-reasoning",
  "frequency_penalty": 0.3,  // Keelatud!
  "messages": [...]
}

frequencyPenalty karistab tokeneid proportsionaalselt nende esinemissagedusega.

stop

// VIGA mõtlemismudelitel
{
  "model": "grok-4.20-0309-reasoning",
  "stop": ["\n\n"],  // Keelatud!
  "messages": [...]
}

Parameeter stop peatab genereerimise, kui ilmub kindel jada. Vastuse pikkuse piiramiseks kasuta selle asemel max_completion_tokens, mis piirab ainult nähtavat vastust, ning vormingujuhistit sisendis.

Parameetritega seotud vigade käsitlemine

Olemasoleva koodi üleviimisel mõtlemismudelile puhasta toetamata parameetrid:

def prepare_params(model, base_params):
    """Puhastab parameetrid mõtlemismudelite jaoks."""
    reasoning_models = [
        # praegune valik
        "grok-4.7", "grok-4.6", "grok-4.5", "grok-4.20-0309-reasoning",
        # ajaloolised identifikaatorid, endiselt olemasolevas koodis
        "grok-3-mini", "grok-4-fast-reasoning",
    ]

    params = {**base_params, "model": model}

    if model in reasoning_models:
        # Eemalda keelatud parameetrid
        for forbidden in ["presence_penalty", "frequency_penalty", "stop"]:
            params.pop(forbidden, None)

        # Asenda max_tokens väärtusega max_completion_tokens
        if "max_tokens" in params:
            params["max_completion_tokens"] = params.pop("max_tokens")

    return params

Voogedastus mõtlemismudelitel

Voogedastus toimib mõtlemismudelitel, kuid käitumine sõltub genereerimisest: grok-3-mini (eelmine põlvkond) puhul ilmus reasoning_content voos selgelt enne vastuse tokeneid. Grok-4.20-0309-reasoning puhul jääb mõtlemine sisemiseks ja seda ei voogedastata: voos saabub ainult lõplik vastus. Märkimisväärne erand: Responses API puhul edastab grok-4.7 oma mõttekäigu kokkuvõtte voogedastusena sündmustes response.reasoning_summary_text.delta, mida saad kuvada enne vastust.

Ajalooline näide grok-3-mini-ga:

stream = client.chat.completions.create(
    model="grok-4.20-0309-reasoning",
    messages=[{"role": "user", "content": "Why is the sky blue?"}],
    reasoning_effort="high",
    stream=True
)

for chunk in stream:
    delta = chunk.choices[0].delta
    if hasattr(delta, 'reasoning_content') and delta.reasoning_content:
        print(f"[Reasoning] {delta.reasoning_content}", end="")
    elif delta.content:
        print(f"[Response] {delta.content}", end="")

Peamised punktid

  • Luba päringu kohta vähemalt 900 sekundit (Reasoning juhendi näidetes 3600) ja eelista voogedastust
  • Kolm parameetrit on keelatud: presencePenalty, frequencyPenalty ja stop
  • Puhasta parameetrid klassikalistelt mudelitelt üleviimisel
  • Kasuta max_tokens asemel max_completion_tokens
  • Voogedastus toimib, kuid käitumine erineb mudeliti