Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Laiko limitai, draudžiami parametrai ir konfigūracija

Paskaita 11 iš 12 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. Teisingai sukonfigūruokite savo samprotavimo užklausas
  2. Laiko limitas: bent 900 sekundžių
  3. Draudžiami parametrai samprotavimo modeliams
  4. Klaidų, susijusių su parametrais, valdymas
  5. Srautinis perdavimas su samprotavimo modeliais
  6. Svarbiausi punktai

Atnaujinta 2026 m. lapkričio 3 d. Remiantis „xAI“ geriausios praktikos rekomendacijomis ir Reasoning vadovu: rekomenduojamas laukimo laikas yra bent 900 sekundžių (pavyzdžiuose nurodyta 3 600), o ne „bent 3 600 sekundžių“; samprotavimo modelių sąraše yra „grok-4.6“ ir „grok-4.7“; „grok-4.7“ transliuoja savo samprotavimų santrauką; pašalinti draudžiamų parametrų pagrindimai, kurių nėra dokumentacijoje. Šaltiniai: Geriausia praktika · Samprotavimas.

Teisingai sukonfigūruokite savo samprotavimo užklausas

Samprotavimo modeliai turi specifinių apribojimų, kurių neturi klasikiniai modeliai. Jei šių apribojimų nepaisysi, gali kilti nepastebimų klaidų, netikėtų laiko limito viršijimų arba atsakymai bus sutrumpinti. Šioje pamokoje aptarsime esminius konfigūracijos parametrus.

Laiko limitas: bent 900 sekundžių

„xAI“ geriausios praktikos rekomendacijos reikalauja skirti bent 900 sekundžių vienai užklausai, o ilgiems vertinimams – 1 800 sekundžių ar daugiau; Reasoning vadovo pavyzdžiuose delsos laikas netgi nustatomas į 3 600 sekundžių (1 valandą). Šie skaičiai gali atrodyti dideli, tačiau jie atspindi realybę: gilus sudėtingos problemos samprotavimas gali užtrukti kelias minutes. „xAI“ taip pat rekomenduoja naudoti srautinį perdavimą (streaming), kuris palaiko ryšį aktyvų ilgos generacijos metu.

Kodėl toks ilgas laiko limitas?

Kai samprotavimo modelis apdoroja sudėtingą problemą (matematinį įrodymą, kompleksinę kodo analizę, daugiapakopį samprotavimą), jis potencialiai sugeneruoja tūkstančius vidinių samprotavimo tokenų, prieš suformuluodamas atsakymą. Šis procesas yra linijinis ir negali būti lygiagretinamas.

Laiko limito konfigūracija

import httpx
from openai import OpenAI

# Konfigūracija su dideliu laiko limitu
client = OpenAI(
    api_key="your-api-key",
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(3600.0, connect=10.0)
)

„JavaScript“ kalboje naudojant „OpenAI“ SDK:

import OpenAI from 'openai';

const client = new OpenAI({
  apiKey: 'your-api-key',
  baseURL: 'https://api.x.ai/v1',
  timeout: 3600 * 1000  // 3600 sekundžių milisekundėmis
});

Žiniatinklio serverio laiko limitas

Jei tavo programa veikia už atvirkštinio proxy serverio („nginx“, „Apache“), taip pat sukonfigūruok serverio pusės laiko limitą:

# nginx
location /api/ {
    proxy_read_timeout 3600s;
    proxy_connect_timeout 10s;
    proxy_send_timeout 3600s;
}

Draudžiami parametrai samprotavimo modeliams

Trys parametrai, dažnai naudojami su klasikiniais modeliais, negali būti siunčiami „xAI“ samprotavimo modeliams: pagal Reasoning vadovą, užklausa, kurioje jų yra, grąžins klaidą. Dokumentacijoje nepateikiama šių draudimų priežastis; tiesiog įsimink šią taisyklę.

presencePenalty

// KLAIDA samprotavimo modeliams
{
  "model": "grok-4.20-0309-reasoning",
  "presence_penalty": 0.5,  // Draudžiama!
  "messages": [...]
}

presencePenalty baudžia tokenus, kurie jau pasirodė atsakyme, siekiant skatinti įvairovę.

frequencyPenalty

// KLAIDA samprotavimo modeliams
{
  "model": "grok-4.20-0309-reasoning",
  "frequency_penalty": 0.3,  // Draudžiama!
  "messages": [...]
}

frequencyPenalty baudžia tokenus proporcingai jų pasirodymo dažniui.

stop

// KLAIDA samprotavimo modeliams
{
  "model": "grok-4.20-0309-reasoning",
  "stop": ["\n\n"],  // Draudžiama!
  "messages": [...]
}

Parametras stop sustabdo generavimą, kai pasirodo konkreti seka. Norėdami apriboti atsakymo ilgį, vietoj to naudokite max_completion_tokens, kuris riboja tik matomą atsakymą, ir formato instrukciją užuominoje (prompt).

Klaidų, susijusių su parametrais, valdymas

Migruodamas esamą kodą į samprotavimo modelį, išvalyk nepalaikomus parametrus:

def prepare_params(model, base_params):
    """Išvalo parametrus samprotavimo modeliams."""
    reasoning_models = [
        # dabartinis asortimentas
        "grok-4.7", "grok-4.6", "grok-4.5", "grok-4.20-0309-reasoning",
        # istoriniai identifikatoriai, vis dar esantys esamame kode
        "grok-3-mini", "grok-4-fast-reasoning",
    ]

    params = {**base_params, "model": model}

    if model in reasoning_models:
        # Pašalinti draudžiamus parametrus
        for forbidden in ["presence_penalty", "frequency_penalty", "stop"]:
            params.pop(forbidden, None)

        # Pakeisti max_tokens į max_completion_tokens
        if "max_tokens" in params:
            params["max_completion_tokens"] = params.pop("max_tokens")

    return params

Srautinis perdavimas su samprotavimo modeliais

Srautinis perdavimas veikia su samprotavimo modeliais, tačiau elgsena priklauso nuo generacijos: „grok-3-mini“ (ankstesnė karta) atveju reasoning_content sraute atsirado aiškiai, prieš atsakymo tokenus. „grok-4.20-0309-reasoning“ atveju samprotavimas lieka vidinis ir netransliuojamas: sraute atsiranda tik galutinis atsakymas. Reikšminga išimtis: naudojant „Responses API“, „grok-4.7“ transliuoja savo samprotavimų santrauką response.reasoning_summary_text.delta įvykiuose, kuriuos gali rodyti prieš patį atsakymą.

Istorinis pavyzdys su „grok-3-mini“:

stream = client.chat.completions.create(
    model="grok-4.20-0309-reasoning",
    messages=[{"role": "user", "content": "Why is the sky blue?"}],
    reasoning_effort="high",
    stream=True
)

for chunk in stream:
    delta = chunk.choices[0].delta
    if hasattr(delta, 'reasoning_content') and delta.reasoning_content:
        print(f"[Reasoning] {delta.reasoning_content}", end="")
    elif delta.content:
        print(f"[Response] {delta.content}", end="")

Svarbiausi punktai

  • Skirk bent 900 sekundžių vienai užklausai (3 600 Reasoning vadovo pavyzdžiuose) ir teik pirmenybę srautiniam perdavimui
  • Trys parametrai yra draudžiami: presencePenalty, frequencyPenalty ir stop
  • Migruojant nuo klasikinių modelių, išvalyk parametrus
  • Vietoj max_tokens naudok max_completion_tokens
  • Srautinis perdavimas veikia, tačiau elgsena skiriasi priklausomai nuo modelio