Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Timeout, forbudte parametre og konfiguration

Lektion 11 af 12 Opdateret 3. november 2026 Udvikler
På denne side
  1. Konfigurér dine ræsonnementsanmodninger korrekt
  2. Timeout: mindst 900 sekunder
  3. Forbudte parametre på ræsonnementsmodeller
  4. Håndtering af fejl relateret til parametre
  5. Streaming med ræsonnementsmodeller
  6. Vigtige pointer

Opdateret 3. november 2026. Baseret på xAIs bedste praksis og Reasoning-guiden: den anbefalede ventetid er mindst 900 sekunder (3.600 i eksemplerne), ikke „mindst 3.600 sekunder”; listen over ræsonnementsmodeller inkluderer grok-4.6 og grok-4.7; grok-4.7 streamer et sammendrag af sin ræsonnering; begrundelser for forbudte parametre, som mangler i dokumentationen, er fjernet. Kilder: Bedste praksis · Reasoning.

Konfigurér dine ræsonnementsanmodninger korrekt

Ræsonnementsmodeller har specifikke begrænsninger, som klassiske modeller ikke har. Ignorerer du disse begrænsninger, kan det føre til stille fejl, uventede timeout eller afkortede svar. Denne lektion dækker essentielle konfigurationsparametre.

Timeout: mindst 900 sekunder

xAIs bedste praksis kræver mindst 900 sekunder pr. anmodning og 1.800 sekunder eller mere til lange evalueringer; eksemplerne i Reasoning-guiden sætter endda forsinkelsen til 3.600 sekunder (1 time). Tallene kan virke høje, men de afspejler virkeligheden: dyb ræsonnering over et komplekst problem kan tage flere minutter. xAI anbefaler også at foretrække streaming, hvilket holder forbindelsen aktiv under lange generationer.

Hvorfor så lang en timeout?

Når en ræsonnementsmodel behandler et svært problem (matematisk bevis, kompleks kodeanalyse, ræsonnering i flere trin), genererer den potentielt tusindvis af interne ræsonnementstokens, før den formulerer sit svar. Denne proces er lineær og kan ikke paralleliseres.

Konfiguration af timeout

import httpx
from openai import OpenAI

# Konfiguration med høj timeout
client = OpenAI(
    api_key="your-api-key",
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(3600.0, connect=10.0)
)

I JavaScript med OpenAI SDK:

import OpenAI from 'openai';

const client = new OpenAI({
  apiKey: 'your-api-key',
  baseURL: 'https://api.x.ai/v1',
  timeout: 3600 * 1000  // 3600 sekunder i millisekunder
});

Timeout for webserver

Hvis din applikation kører bag en reverse proxy (nginx, Apache), skal du også konfigurere timeout på serversiden:

# nginx
location /api/ {
    proxy_read_timeout 3600s;
    proxy_connect_timeout 10s;
    proxy_send_timeout 3600s;
}

Forbudte parametre på ræsonnementsmodeller

Tre parametre, der ofte bruges med klassiske modeller, kan ikke sendes til xAIs ræsonnementsmodeller: ifølge Reasoning-guiden returnerer en anmodning, der indeholder dem, en fejl. Dokumentationen angiver ikke årsagen til disse forbud; husk blot reglen.

presencePenalty

// FEJL på ræsonnementsmodeller
{
  "model": "grok-4.20-0309-reasoning",
  "presence_penalty": 0.5,  // Forbudt!
  "messages": [...]
}

presencePenalty straffer tokens, der allerede er optrådt i svaret, for at fremme mangfoldighed.

frequencyPenalty

// FEJL på ræsonnementsmodeller
{
  "model": "grok-4.20-0309-reasoning",
  "frequency_penalty": 0.3,  // Forbudt!
  "messages": [...]
}

frequencyPenalty straffer tokens proportionalt med deres hyppighed af forekomst.

stop

// FEJL på ræsonnementsmodeller
{
  "model": "grok-4.20-0309-reasoning",
  "stop": ["\n\n"],  // Forbudt!
  "messages": [...]
}

Parameteren stop stopper generationen, når en bestemt sekvens optræder. For at begrænse svarlængden skal du i stedet bruge max_completion_tokens, som kun sætter loft over det synlige svar, samt en formatinstruks i prompten.

Håndtering af fejl relateret til parametre

Når du migrerer eksisterende kode til en ræsonnementsmodel, skal du rydde op i parametre, der ikke understøttes:

def prepare_params(model, base_params):
    """Renser parametre til ræsonnementsmodeller."""
    reasoning_models = [
        # nuværende udvalg
        "grok-4.7", "grok-4.6", "grok-4.5", "grok-4.20-0309-reasoning",
        # historiske identifikatorer, stadig til stede i eksisterende kode
        "grok-3-mini", "grok-4-fast-reasoning",
    ]

    params = {**base_params, "model": model}

    if model in reasoning_models:
        # Fjern forbudte parametre
        for forbidden in ["presence_penalty", "frequency_penalty", "stop"]:
            params.pop(forbidden, None)

        # Erstat max_tokens med max_completion_tokens
        if "max_tokens" in params:
            params["max_completion_tokens"] = params.pop("max_tokens")

    return params

Streaming med ræsonnementsmodeller

Streaming fungerer med ræsonnementsmodeller, men adfærden afhænger af generationen: på grok-3-mini (tidligere generation) optrådte reasoning_content i klar tekst i streamen før svar-tokens. På grok-4.20-0309-reasoning forbliver ræsonneringen intern og streames ikke: kun det endelige svar ankommer i streamen. Bemærkelsesværdig undtagelse: på Responses API streamer grok-4.7 et sammendrag af sin ræsonnering i response.reasoning_summary_text.delta-begivenheder, som du kan vise før svaret.

Historisk eksempel med grok-3-mini:

stream = client.chat.completions.create(
    model="grok-4.20-0309-reasoning",
    messages=[{"role": "user", "content": "Why is the sky blue?"}],
    reasoning_effort="high",
    stream=True
)

for chunk in stream:
    delta = chunk.choices[0].delta
    if hasattr(delta, 'reasoning_content') and delta.reasoning_content:
        print(f"[Reasoning] {delta.reasoning_content}", end="")
    elif delta.content:
        print(f"[Response] {delta.content}", end="")

Vigtige pointer

  • Tillad mindst 900 sekunder pr. anmodning (3.600 i eksempler fra Reasoning-guiden), og foretræk streaming
  • Tre parametre er forbudte: presencePenalty, frequencyPenalty og stop
  • Rens parametre, når du migrerer fra klassiske modeller
  • Brug max_completion_tokens i stedet for max_tokens
  • Streaming fungerer, men adfærden varierer afhængigt af modellen