Премини към основното съдържание
Български— Изберете език
Меню

Изчакване, забранени параметри и конфигурация

Урок 11 от 12 Обновен 3 ноември 2026 г. Програмист
На тази страница
  1. Конфигурирайте правилно заявките си за разсъждение
  2. Изчакване: поне 900 секунди
  3. Забранени параметри при моделите за разсъждение
  4. Обработка на грешки, свързани с параметри
  5. Стрийминг с модели за разсъждение
  6. Ключови изводи

Обновено на 3 ноември 2026 г. Въз основа на най-добрите практики на xAI и ръководството Reasoning: препоръчителното време за изчакване е поне 900 секунди (3600 в примерите), а не „минимум 3600 секунди“; списъкът с модели за разсъждение включва grok-4.6 и grok-4.7; grok-4.7 предава в поток обобщение на своето разсъждение; премахнати са обосновките за забранените параметри, които липсват в документацията. Източници: Най-добри практики · Reasoning.

Конфигурирайте правилно заявките си за разсъждение

Моделите за разсъждение имат специфични ограничения, които класическите модели нямат. Игнорирането на тези ограничения може да доведе до тихи грешки, неочаквани изчаквания или съкратени отговори. Този урок обхваща основните параметри за конфигурация.

Изчакване: поне 900 секунди

Най-добрите практики на xAI изискват поне 900 секунди на заявка, а 1800 секунди или повече за дълги оценки; примерите в ръководството Reasoning дори задават закъснението на 3600 секунди (1 час). Тези числа може да изглеждат високи, но те отразяват реалността: дълбокото разсъждение върху сложен проблем може да отнеме няколко минути. xAI също така препоръчва да предпочитате стрийминг (поточно предаване), което поддържа връзката активна по време на дълги генерации.

Защо толкова дълго изчакване?

Когато модел за разсъждение обработва труден проблем (математическо доказателство, сложен анализ на код, разсъждение в няколко стъпки), той потенциално генерира хиляди вътрешни токени за разсъждение, преди да формулира своя отговор. Този процес е линеен и не може да бъде паралелизиран.

Конфигурация на изчакването

import httpx
from openai import OpenAI

# Configuration with high timeout
client = OpenAI(
    api_key="your-api-key",
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(3600.0, connect=10.0)
)

В JavaScript с OpenAI SDK:

import OpenAI from 'openai';

const client = new OpenAI({
  apiKey: 'your-api-key',
  baseURL: 'https://api.x.ai/v1',
  timeout: 3600 * 1000  // 3600 seconds in milliseconds
});

Изчакване на уеб сървъра

Ако вашето приложение е зад обратен прокси (nginx, Apache), конфигурирайте и изчакването от страна на сървъра:

# nginx
location /api/ {
    proxy_read_timeout 3600s;
    proxy_connect_timeout 10s;
    proxy_send_timeout 3600s;
}

Забранени параметри при моделите за разсъждение

Три параметъра, често използвани с класически модели, не могат да бъдат изпращани към моделите за разсъждение на xAI: според ръководството Reasoning, заявка, съдържаща ги, връща грешка. Документацията не посочва причината за тези забрани; запомнете правилото.

presencePenalty

// ERROR on reasoning models
{
  "model": "grok-4.20-0309-reasoning",
  "presence_penalty": 0.5,  // Forbidden!
  "messages": [...]
}

presencePenalty наказва токени, които вече са се появили в отговора, за да насърчи разнообразието.

frequencyPenalty

// ERROR on reasoning models
{
  "model": "grok-4.20-0309-reasoning",
  "frequency_penalty": 0.3,  // Forbidden!
  "messages": [...]
}

frequencyPenalty наказва токени пропорционално на честотата на тяхното появяване.

stop

// ERROR on reasoning models
{
  "model": "grok-4.20-0309-reasoning",
  "stop": ["\n\n"],  // Forbidden!
  "messages": [...]
}

Параметърът stop спира генерирането, когато се появи конкретна последователност. За да ограничите дължината на отговора, използвайте вместо това max_completion_tokens, което ограничава само видимия отговор, и инструкция за формат в подканата (prompt).

Обработка на грешки, свързани с параметри

Когато мигрирате съществуващ код към модел за разсъждение, почистете неподдържаните параметри:

def prepare_params(model, base_params):
    """Cleans parameters for reasoning models."""
    reasoning_models = [
        # current range
        "grok-4.7", "grok-4.6", "grok-4.5", "grok-4.20-0309-reasoning",
        # historical identifiers, still present in existing code
        "grok-3-mini", "grok-4-fast-reasoning",
    ]

    params = {**base_params, "model": model}

    if model in reasoning_models:
        # Remove forbidden parameters
        for forbidden in ["presence_penalty", "frequency_penalty", "stop"]:
            params.pop(forbidden, None)

        # Replace max_tokens with max_completion_tokens
        if "max_tokens" in params:
            params["max_completion_tokens"] = params.pop("max_tokens")

    return params

Стрийминг с модели за разсъждение

Стриймингът работи с модели за разсъждение, но поведението зависи от генерацията: при grok-3-mini (предишно поколение), reasoning_content се появяваше ясно в потока, преди токените на отговора. При grok-4.20-0309-reasoning разсъждението остава вътрешно и не се предава в поток: само крайният отговор пристига в потока. Забележително изключение: при Responses API, grok-4.7 предава в поток обобщение на своето разсъждение в събития response.reasoning_summary_text.delta, които можете да покажете преди отговора.

Исторически пример с grok-3-mini:

stream = client.chat.completions.create(
    model="grok-4.20-0309-reasoning",
    messages=[{"role": "user", "content": "Why is the sky blue?"}],
    reasoning_effort="high",
    stream=True
)

for chunk in stream:
    delta = chunk.choices[0].delta
    if hasattr(delta, 'reasoning_content') and delta.reasoning_content:
        print(f"[Reasoning] {delta.reasoning_content}", end="")
    elif delta.content:
        print(f"[Response] {delta.content}", end="")

Ключови изводи

  • Разрешете поне 900 секунди на заявка (3600 в примерите от ръководството Reasoning) и предпочитайте стрийминг
  • Три параметъра са забранени: presencePenalty, frequencyPenalty и stop
  • Почиствайте параметрите при миграция от класически модели
  • Използвайте max_completion_tokens вместо max_tokens
  • Стриймингът работи, но поведението се различава според модела