Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Sebekonzistence: Více cest uvažování

Lekce 6 z 16 Aktualizováno 3. listopadu 2026 Vývojář
Na této stránce
  1. Sebekonzistence: Více cest uvažování
  2. Problém, který řeší
  3. Základní implementace
  4. Co ti hlasování říká
  5. Paralelní verze s asyncio
  6. Kdy použít sebekonzistenci
  7. Ladění poměru náklady/spolehlivost
  8. Klíčové poznatky

Lekce aktualizována 3. listopadu 2026 na základě dokumentace OpenAI: parametry temperature a top_p jsou přijímány pouze při úsilí o uvažování (reasoning effort) nastaveném na none, zatímco modely řady GPT-5.6 ve výchozím nastavení uvažují (medium). Volání, která tyto parametry nastavují, musí proto specifikovat reasoning={"effort": "none"} (Responses API) nebo reasoning_effort="none" (Chat Completions). Zdroje: Using GPT-6 · GPT-5.6 Terra.

Sebekonzistence: Více cest uvažování

Sebekonzistence spočívá ve generování více nezávislých odpovědí na stejný prompt a následném výběru té nejčastější nebo nejkonzistentnější. Principem je hlasování: jediné volání tě vystavuje náhodě špatného losu, zatímco pět volání ti poskytne rozdělení, které můžeš analyzovat. Tato technika výrazně zvyšuje spolehlivost odpovědí, zejména u úloh vyžadujících logické uvažování a matematiku.

Problém, který řeší

LLM může při každém volání poskytnout jinou odpověď, i když je prompt zcela totožný. Některé z těchto odpovědí jsou správné, jiné ne, a nic ve výstupu nenaznačuje, kterou právě čteš: špatná odpověď je uvedena se stejnou jistotou jako ta správná. Sebekonzistence obrací tuto variabilitu ve tvůj prospěch. Pokud model dospěje ke stejnému závěru prostřednictvím několika různých cest uvažování, je tento závěr pravděpodobně správný; chyba se naproti tomu zřídka reprodukuje identicky z jednoho losu do druhého, protože závisí právě na zvolené cestě.

Základní implementace

Mechanismus má tři kroky: generování, extrakce konečné odpovědi, hlasování. Značka >>> ANSWER: vynucená v instrukcích není kosmetická záležitost – právě ona umožňuje parsování výstupu bez nutnosti interpretovat předcházející uvažování. Bez tohoto kotvení bys musel napsat křehkou heuristiku, která by hádala, kde končí reflexe a začíná závěr.

from openai import OpenAI
from collections import Counter

client = OpenAI()

def self_consistency(prompt: str, system: str = "",
                     n: int = 5, model: str = "gpt-5.6-terra") -> dict:
    """Vygeneruje n odpovědí a vrátí tu nejčastější."""
    responses = []

    for _ in range(n):
        response = client.responses.create(
            model=model,
            reasoning={"effort": "none"},  # temperature vyžaduje effort none
            instructions=system + "\nReason step by step, then give "
                         "your final answer after '>>> ANSWER:'",
            input=prompt,
            temperature=0.7  # Temperature > 0 pro diverzitu
        )
        responses.append(response.output_text)

    # Extrakce konečných odpovědí
    answers = []
    for r in responses:
        if ">>> ANSWER:" in r:
            answer = r.split(">>> ANSWER:")[-1].strip()
            answers.append(answer)

    # Většinové hlasování
    if answers:
        counter = Counter(answers)
        best_answer, count = counter.most_common(1)[0]
        return {
            "answer": best_answer,
            "confidence": count / len(answers),
            "all_answers": dict(counter),
            "total_responses": len(answers)
        }
    return {"answer": None, "confidence": 0}

Co ti hlasování říká

Při aplikaci na klasifikaci sentimentu funkce nevrací pouze štítek, ale celé rozdělení, které je často cennější než samotný štítek. U níže uvedené recenze, která je skutečně nejednoznačná – produkt je v pořádku, ale doručení bylo katastrofální – čtyři volání hlasují pro „negativní“ a tři pro „neutrální“. 57% míra jistoty ti říká, že tento případ si může zasloužit zvláštní zacházení: zařazení do fronty pro lidskou kontrolu, žádost o upřesnění uživatele nebo prosté vyloučení z agregované statistiky. Jediné volání by zobrazilo „negativní“ bez nuancí a tento tiket bys zpracoval stejně jako recenzi plnou jednoznačného hněvu.

system = """You are a sentiment classifier.
Analyze the text and reason step by step.
Give your final answer after '>>> ANSWER:' choosing from:
positive, negative, neutral"""

text = "The product is fine but the delivery took 3 weeks."

result = self_consistency(text, system, n=7)
print(f"Sentiment: {result['answer']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Distribution: {result['all_answers']}")
# Příklad výstupu:
# Sentiment: negative
# Confidence: 57%
# Distribution: {'negative': 4, 'neutral': 3}

Paralelní verze s asyncio

Cena této techniky není jen finanční: pět sekvenčních volání znamená také pětinásobnou latenci, což vylučuje tento přístup v jakémkoli rozhraní, kde někdo čeká u obrazovky. Volání jsou však zcela nezávislá; není žádný důvod čekat na ně jedno po druhém. asyncio.gather sníží celkový čas na dobu trvání nejpomalejšího volání, čímž učiní sebekonzistenci kompatibilní s online použitím, přičemž režie se stane čistě monetární záležitostí.

import asyncio
from openai import AsyncOpenAI

async_client = AsyncOpenAI()

async def self_consistency_async(prompt: str, system: str = "",
                                  n: int = 5) -> dict:
    """Asynchronní verze sebekonzistence."""

    async def single_call():
        response = await async_client.responses.create(
            model="gpt-5.6-terra",
            reasoning={"effort": "none"},  # temperature vyžaduje effort none
            instructions=system + "\nReason then give your answer "
                         "after '>>> ANSWER:'",
            input=prompt,
            temperature=0.7
        )
        return response.output_text

    # Spuštění všech požadavků paralelně
    tasks = [single_call() for _ in range(n)]
    results = await asyncio.gather(*tasks)

    # Extrakce a hlasování
    answers = []
    for r in results:
        if ">>> ANSWER:" in r:
            answers.append(r.split(">>> ANSWER:")[-1].strip())

    counter = Counter(answers)
    best, count = counter.most_common(1)[0] if answers else (None, 0)

    return {
        "answer": best,
        "confidence": count / len(answers) if answers else 0,
        "distribution": dict(counter)
    }

Kdy použít sebekonzistenci

Rozhodovací kritérium je jednoduché: hlasování má smysl pouze tehdy, pokud je odpověď diskrétní a porovnatelná. Dva dobře napsané shrnutí nelze sčítat, protože nikdy nebudou znak od znaku totožná; dvě kategorie ano.

Případ použití Užitečné? Proč
Klasifikace Ano Diskrétní odpověď, jednoduché hlasování
Matematické uvažování Ano Více cest ke správné odpovědi
Extrakce entit Ano Konsenzus na detekovaných entitách
Kreativní psaní Ne Neexistuje jedna „správná“ odpověď
Shrnutí textu Částečně Užitečné pro klíčová fakta, ne pro styl

Ladění poměru náklady/spolehlivost

Tři volání jsou minimální počet, aby většinové hlasování něco znamenalo; pět nabízí nejlepší kompromis pro většinu aplikací; sedm až jedenáct je opodstatněných pro kritická rozhodnutí, kde chyba stojí mnohem více než několik dalších volání. Skutečný zisk však plyne spíše ze způsobu, jakým využíváš skóre jistoty, než z počtu vzorků. Pod 60 % předpokládej, že neexistuje konsenzus, a eskaluj situaci – buď na lidského operátora, nebo na výkonnější model s větším počtem vzorků, jak je ukázáno níže.

result = self_consistency(question, system, n=5)

if result["confidence"] < 0.6:
    # Žádný jasný konsenzus, eskalace
    result = self_consistency(question, system, n=9, model="gpt-5.6-sol")

Zbývá otázka, zda se ti to ve tvém konkrétním případě vyplatí, a to je třeba změřit, nikoliv předpokládat. Implementuj asynchronní verzi, spusť ji na tuctu otázek pro klasifikaci sentimentu, u kterých znáš očekávanou odpověď, a poté porovnej přesnost získanou jedním voláním oproti pěti voláním. Číslo, které získáš, rozhodne o otázce režie pro tvůj konkrétní případ, což žádné obecné doporučení nedokáže.

Klíčové poznatky

  • Sebekonzistence generuje více odpovědí a hlasuje pro tu nejlepší
  • Použij temperature > 0 pro dosažení diverzity
  • Efektivní pro úlohy s diskrétní odpovědí (klasifikace, výpočty)
  • Zbytečné pro kreativní úlohy bez jedné správné odpovědi
  • Paralelizuj volání pomocí asyncio pro omezení latence