Temperatura in parametri generiranja
Na tej strani
Lekcija je bila ponovno napisana 3. novembra 2026 na podlagi najboljših praks xAI, referenčne dokumentacije API-ja (Chat Completions in Responses) ter vodnika Reasoning: xAI priporoča vrednost
temperature0,7 intop_p0,95 za svoje modele; temperature nad 1 so omejene na 1, privzeta vrednosttop_pje 0,95,max_completion_tokensomejuje le vidni odgovor (privzeto 128.000 žetonov), parameterseedpa ne zagotavlja determinizma. Prejšnja različica je priporočala temperature do 2, privzetitop_p1 in omejitev, ki je vključevala razmišljanje. Viri: Najboljše prakse · Chat Completions · Reasoning.
Nadzor generiranja s parametri
Poleg besedila vašega poziva API Grok sprejme več numeričnih parametrov, ki vplivajo na način generiranja odgovora modela. Pri trenutnih modelih je glavno spoznanje protislovno: s temi nastavitvami ravnajte zelo previdno in zapomnite si, da kakovost odgovora poganja poziv, ne pa drsniki.

Temperatura
Temperatura nadzira stopnjo naključnosti pri izbiri žetonov. Referenčna dokumentacija API-ja jo opisuje klasično: nizka vrednost, na primer 0,2, naredi izhod bolj osredotočen in determinističen; višja vrednost, na primer 0,8, pa bolj raznolik. Sprejema vrednosti od 0 do 2, vendar je vse nad 1 vzorčeno kot 1.
Najboljše prakse xAI gredo dlje: nastavite temperature na 0,7 in od te vrednosti ne odstopajte preveč. Po mnenju xAI modeli Grok slabo reagirajo na druge nastavitve vzorčenja, kakovost pa se ob njihovi spremembi običajno poslabša.
{
"model": "grok-4.7",
"messages": [{"role": "user", "content": "Propose a slogan for an organic bakery"}],
"temperature": 0.7,
"top_p": 0.95
}
Če želite več ustvarjalnosti, natančnosti ali jedrnatosti, uporabite raje poziv: izrecno zahtevajte nepričakovane predloge, dejanski ton ali odgovor v treh alinejah. To je tema naslednjih lekcij.
Parameter top_p (vzorčenje jedra)
Parameter top_p omeji izbiro na žetone, ki se seštejejo v dano verjetnostno maso: pri 0,1 so upoštevani le žetoni, ki predstavljajo najboljših 10 % verjetnosti. Trenutni besedilni modeli Grok imajo to nastavljeno privzeto na 0,95, vrednosti nad privzeto vrednostjo modela pa so omejene na to privzeto vrednost.
Referenčna dokumentacija API-ja ponavlja običajen nasvet, da spreminjate bodisi temperature bodisi top_p, ne pa obeh hkrati. Najboljše prakse xAI, ki so novejše in specifične za njene modele, namesto tega zahtevajo, da oba parametra pri vsaki zahtevi izrecno nastavite – na 0,7 oziroma 0,95 –, da vaši rezultati ne bodo odvisni od privzetih vrednosti strežnika, in da uporabljate enake vrednosti za vse modele, ki jih primerjate.
max_completion_tokens
Ta parameter omejuje število žetonov v odgovoru. Služi nadzoru dolžine in stroškov vidnega dela.
{
"model": "grok-4.7",
"messages": [{"role": "user", "content": "Summarize this document in three points"}],
"max_completion_tokens": 500
}
Pomembne točke glede na referenčno dokumentacijo API-ja:
- Uporablja se le za vidne žetone: razmišljanje in klici funkcij se ne štejejo; trud razmišljanja nadzira refleksijo.
- Brez vrednosti je privzeto nastavljen na 128.000 žetonov; stari
max_tokensje zastarel. - Če je dosežena omejitev, je odgovor prekinjen,
finish_reasonpa je"length"namesto"stop"(API Responses to omejitev imenujemax_output_tokensin signalizira stanjeincomplete).
Parameter seed
Parameter seed zahteva čim bolj deterministično vzorčenje sistema: ponovljene zahteve z istim seed in parametri bi morale dati enak rezultat. Referenčna dokumentacija API-ja navaja, da determinizem ni zagotovljen, in se sklicuje na polje system_fingerprint v odgovoru za zaznavanje sprememb na strani strežnika.
{
"model": "grok-4.7",
"messages": [{"role": "user", "content": "Generate 5 tech startup names"}],
"temperature": 0.7,
"top_p": 0.95,
"seed": 42
}
Primeri uporabe za seed:
- Testiranje in odpravljanje napak: preverite, ali poziv daje stabilne rezultate.
- Primerjava: preizkusite različne formulacije pozivov z istim seedom, da izolirate učinek spremembe.
- Sledenje: zabeležite
seedinsystem_fingerprintz vsakim rezultatom, da pojasnite varianco.
Parametri, ki jih modeli za razmišljanje zavračajo
Trenutni modeli Grok razmišljajo: presence_penalty, frequency_penalty in stop jim ni mogoče poslati, zahteva, ki jih vsebuje, pa vrne napako. logprobs pa se od Grok 4.20 naprej ignorira. Če prenašate kodo, napisano za drugega ponudnika, te parametre odstranite.
Priporočene nastavitve
xAI ne predlaga niza nastavitev za vsak primer uporabe posebej: njegovo priporočilo je povsod enako.
{"temperature": 0.7, "top_p": 0.95}
Po potrebi dodajte max_completion_tokens, prilagojen pričakovani dolžini, seed za vaše teste in pri grok-4.5 do 4.7 še trud razmišljanja (reasoning_effort), izbran glede na težavnost naloge: to, ne temperatura, odloča o hitrosti, stroških in globini.
Praktična vaja
Pošljite isti poziv trikrat, s temperature na 0,7 in top_p na 0,95, nato pa še trikrat različico poziva, ki določa pričakovani ton in obliko:
Poziv A: "Predlagaj tri imena za aplikacijo za meditacijo"
Poziv B: "Predlagaj tri kratka, evokativna in nepričakovana imena za aplikacijo za meditacijo,
namenjeno zaposlenim vodilnim delavcem. Eno ime na vrstico, brez pojasnil."
Primerjajte raznolikost in ustreznost odgovorov: razlika izvira iz poziva, ne iz parametrov.
Ključne ugotovitve
- xAI priporoča
temperaturena 0,7 intop_pna 0,95, ki ju izrecno nastavite pri vsaki zahtevi. - Nad 1 je temperatura omejena na 1;
top_pne preseže privzete vrednosti modela (0,95). max_completion_tokensomejuje le vidni odgovor, privzeto 128.000 žetonov.seedcilja na ponovljivost brez zagotovila: sleditesystem_fingerprint.presence_penalty,frequency_penaltyinstopmodeli za razmišljanje zavračajo.