Sebekonzistence: Více cest uvažování
Na této stránce
Lekce aktualizována 3. listopadu 2026 na základě dokumentace OpenAI: parametry
temperatureatop_pjsou přijímány pouze při úsilí o uvažování (reasoning effort) nastaveném nanone, zatímco modely řady GPT-5.6 ve výchozím nastavení uvažují (medium). Volání, která tyto parametry nastavují, musí proto specifikovatreasoning={"effort": "none"}(Responses API) neboreasoning_effort="none"(Chat Completions). Zdroje: Using GPT-6 · GPT-5.6 Terra.
Sebekonzistence: Více cest uvažování
Sebekonzistence spočívá ve generování více nezávislých odpovědí na stejný prompt a následném výběru té nejčastější nebo nejkonzistentnější. Principem je hlasování: jediné volání tě vystavuje náhodě špatného losu, zatímco pět volání ti poskytne rozdělení, které můžeš analyzovat. Tato technika výrazně zvyšuje spolehlivost odpovědí, zejména u úloh vyžadujících logické uvažování a matematiku.
Problém, který řeší
LLM může při každém volání poskytnout jinou odpověď, i když je prompt zcela totožný. Některé z těchto odpovědí jsou správné, jiné ne, a nic ve výstupu nenaznačuje, kterou právě čteš: špatná odpověď je uvedena se stejnou jistotou jako ta správná. Sebekonzistence obrací tuto variabilitu ve tvůj prospěch. Pokud model dospěje ke stejnému závěru prostřednictvím několika různých cest uvažování, je tento závěr pravděpodobně správný; chyba se naproti tomu zřídka reprodukuje identicky z jednoho losu do druhého, protože závisí právě na zvolené cestě.
Základní implementace
Mechanismus má tři kroky: generování, extrakce konečné odpovědi, hlasování. Značka >>> ANSWER: vynucená v instrukcích není kosmetická záležitost – právě ona umožňuje parsování výstupu bez nutnosti interpretovat předcházející uvažování. Bez tohoto kotvení bys musel napsat křehkou heuristiku, která by hádala, kde končí reflexe a začíná závěr.
from openai import OpenAI
from collections import Counter
client = OpenAI()
def self_consistency(prompt: str, system: str = "",
n: int = 5, model: str = "gpt-5.6-terra") -> dict:
"""Vygeneruje n odpovědí a vrátí tu nejčastější."""
responses = []
for _ in range(n):
response = client.responses.create(
model=model,
reasoning={"effort": "none"}, # temperature vyžaduje effort none
instructions=system + "\nReason step by step, then give "
"your final answer after '>>> ANSWER:'",
input=prompt,
temperature=0.7 # Temperature > 0 pro diverzitu
)
responses.append(response.output_text)
# Extrakce konečných odpovědí
answers = []
for r in responses:
if ">>> ANSWER:" in r:
answer = r.split(">>> ANSWER:")[-1].strip()
answers.append(answer)
# Většinové hlasování
if answers:
counter = Counter(answers)
best_answer, count = counter.most_common(1)[0]
return {
"answer": best_answer,
"confidence": count / len(answers),
"all_answers": dict(counter),
"total_responses": len(answers)
}
return {"answer": None, "confidence": 0}
Co ti hlasování říká
Při aplikaci na klasifikaci sentimentu funkce nevrací pouze štítek, ale celé rozdělení, které je často cennější než samotný štítek. U níže uvedené recenze, která je skutečně nejednoznačná – produkt je v pořádku, ale doručení bylo katastrofální – čtyři volání hlasují pro „negativní“ a tři pro „neutrální“. 57% míra jistoty ti říká, že tento případ si může zasloužit zvláštní zacházení: zařazení do fronty pro lidskou kontrolu, žádost o upřesnění uživatele nebo prosté vyloučení z agregované statistiky. Jediné volání by zobrazilo „negativní“ bez nuancí a tento tiket bys zpracoval stejně jako recenzi plnou jednoznačného hněvu.
system = """You are a sentiment classifier.
Analyze the text and reason step by step.
Give your final answer after '>>> ANSWER:' choosing from:
positive, negative, neutral"""
text = "The product is fine but the delivery took 3 weeks."
result = self_consistency(text, system, n=7)
print(f"Sentiment: {result['answer']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Distribution: {result['all_answers']}")
# Příklad výstupu:
# Sentiment: negative
# Confidence: 57%
# Distribution: {'negative': 4, 'neutral': 3}
Paralelní verze s asyncio
Cena této techniky není jen finanční: pět sekvenčních volání znamená také pětinásobnou latenci, což vylučuje tento přístup v jakémkoli rozhraní, kde někdo čeká u obrazovky. Volání jsou však zcela nezávislá; není žádný důvod čekat na ně jedno po druhém. asyncio.gather sníží celkový čas na dobu trvání nejpomalejšího volání, čímž učiní sebekonzistenci kompatibilní s online použitím, přičemž režie se stane čistě monetární záležitostí.
import asyncio
from openai import AsyncOpenAI
async_client = AsyncOpenAI()
async def self_consistency_async(prompt: str, system: str = "",
n: int = 5) -> dict:
"""Asynchronní verze sebekonzistence."""
async def single_call():
response = await async_client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature vyžaduje effort none
instructions=system + "\nReason then give your answer "
"after '>>> ANSWER:'",
input=prompt,
temperature=0.7
)
return response.output_text
# Spuštění všech požadavků paralelně
tasks = [single_call() for _ in range(n)]
results = await asyncio.gather(*tasks)
# Extrakce a hlasování
answers = []
for r in results:
if ">>> ANSWER:" in r:
answers.append(r.split(">>> ANSWER:")[-1].strip())
counter = Counter(answers)
best, count = counter.most_common(1)[0] if answers else (None, 0)
return {
"answer": best,
"confidence": count / len(answers) if answers else 0,
"distribution": dict(counter)
}
Kdy použít sebekonzistenci
Rozhodovací kritérium je jednoduché: hlasování má smysl pouze tehdy, pokud je odpověď diskrétní a porovnatelná. Dva dobře napsané shrnutí nelze sčítat, protože nikdy nebudou znak od znaku totožná; dvě kategorie ano.
| Případ použití | Užitečné? | Proč |
|---|---|---|
| Klasifikace | Ano | Diskrétní odpověď, jednoduché hlasování |
| Matematické uvažování | Ano | Více cest ke správné odpovědi |
| Extrakce entit | Ano | Konsenzus na detekovaných entitách |
| Kreativní psaní | Ne | Neexistuje jedna „správná“ odpověď |
| Shrnutí textu | Částečně | Užitečné pro klíčová fakta, ne pro styl |
Ladění poměru náklady/spolehlivost
Tři volání jsou minimální počet, aby většinové hlasování něco znamenalo; pět nabízí nejlepší kompromis pro většinu aplikací; sedm až jedenáct je opodstatněných pro kritická rozhodnutí, kde chyba stojí mnohem více než několik dalších volání. Skutečný zisk však plyne spíše ze způsobu, jakým využíváš skóre jistoty, než z počtu vzorků. Pod 60 % předpokládej, že neexistuje konsenzus, a eskaluj situaci – buď na lidského operátora, nebo na výkonnější model s větším počtem vzorků, jak je ukázáno níže.
result = self_consistency(question, system, n=5)
if result["confidence"] < 0.6:
# Žádný jasný konsenzus, eskalace
result = self_consistency(question, system, n=9, model="gpt-5.6-sol")
Zbývá otázka, zda se ti to ve tvém konkrétním případě vyplatí, a to je třeba změřit, nikoliv předpokládat. Implementuj asynchronní verzi, spusť ji na tuctu otázek pro klasifikaci sentimentu, u kterých znáš očekávanou odpověď, a poté porovnej přesnost získanou jedním voláním oproti pěti voláním. Číslo, které získáš, rozhodne o otázce režie pro tvůj konkrétní případ, což žádné obecné doporučení nedokáže.
Klíčové poznatky
- Sebekonzistence generuje více odpovědí a hlasuje pro tu nejlepší
- Použij temperature > 0 pro dosažení diverzity
- Efektivní pro úlohy s diskrétní odpovědí (klasifikace, výpočty)
- Zbytečné pro kreativní úlohy bez jedné správné odpovědi
- Paralelizuj volání pomocí asyncio pro omezení latence