Sebakonzistencia: Viacero ciest uvažovania
Na tejto strane
Lekcia aktualizovaná 3. novembra 2026 na základe dokumentácie OpenAI: parametre
temperatureatop_psú akceptované len pri úsilí o uvažovanie (reasoning effort) nastavenom nanone, zatiaľ čo modely GPT-5.6 uvažujú predvolene (medium). Volania, ktoré nastavujú tieto parametre, preto musia špecifikovaťreasoning={"effort": "none"}(Responses API) aleboreasoning_effort="none"(Chat Completions). Zdroje: Používanie GPT-6 · GPT-5.6 Terra.
Sebakonzistencia: Viacero ciest uvažovania
Sebakonzistencia spočíva vo vygenerovaní viacerých nezávislých odpovedí na rovnaký prompt a následnom výbere tej najčastejšej alebo najkoherentnejšej. Princípom je hlasovanie: jediné volanie ťa vystavuje náhode zlého losu, zatiaľ čo päť volaní ti poskytne distribúciu, ktorú môžeš analyzovať. Táto technika výrazne zvyšuje spoľahlivosť odpovedí, najmä pri úlohách logického uvažovania a matematických výpočtoch.
Problém, ktorý rieši
LLM môže pri každom volaní poskytnúť inú odpoveď, aj keď je prompt úplne identický. Niektoré z týchto odpovedí sú správne, iné nie, a nič vo výstupe nenaznačuje, ktorú práve čítaš: nesprávna odpoveď je uvedená s rovnakou istotou ako tá správna. Sebakonzistencia mení túto variabilitu na tvoju výhodu. Ak model dôjde k rovnakému záveru cez niekoľko rôznych ciest uvažovania, je tento záver pravdepodobne správny; chyba sa naproti tomu zriedka reprodukuje identicky z jedného losovania na druhé, pretože závisí práve na konkrétnej zvolenej ceste.
Základná implementácia
Mechanizmus má tri kroky: generovanie, extrakcia konečnej odpovede, hlasovanie. Značka >>> ANSWER: vynútená v inštrukciách nie je kozmetická – práve ona umožňuje parsovať výstup bez potreby interpretovať predchádzajúce uvažovanie. Bez tohto kotviaceho bodu by si musel napísať krehkú heuristiku, ktorá by hádala, kde končí reflexia a začína záver.
from openai import OpenAI
from collections import Counter
client = OpenAI()
def self_consistency(prompt: str, system: str = "",
n: int = 5, model: str = "gpt-5.6-terra") -> dict:
"""Vygeneruje n odpovedí a vráti tú najčastejšiu."""
responses = []
for _ in range(n):
response = client.responses.create(
model=model,
reasoning={"effort": "none"}, # temperature vyžaduje effort none
instructions=system + "\nUvažuj krok za krokom, potom uveď "
"svoju konečnú odpoveď za '>>> ANSWER:'",
input=prompt,
temperature=0.7 # Teplota > 0 pre diverzitu
)
responses.append(response.output_text)
# Extrakcia konečných odpovedí
answers = []
for r in responses:
if ">>> ANSWER:" in r:
answer = r.split(">>> ANSWER:")[-1].strip()
answers.append(answer)
# Väčšinové hlasovanie
if answers:
counter = Counter(answers)
best_answer, count = counter.most_common(1)[0]
return {
"answer": best_answer,
"confidence": count / len(answers),
"all_answers": dict(counter),
"total_responses": len(answers)
}
return {"answer": None, "confidence": 0}
Čo ti hlasovanie povie
Pri aplikácii na klasifikáciu sentimentu funkcia nevráti len štítok, ale aj distribúciu, ktorá je často cennejšia než samotný štítok. Pre nižšie uvedenú recenziu, ktorá je skutočne nejednoznačná – produkt je v poriadku, ale doručenie bolo katastrofálne – štyri volania hlasujú za „negatívny“ a tri za „neutrálny“. Istota 57 % ti signalizuje, že tento prípad si môže zasluhovať špeciálne zaobchádzanie: zaradenie do fronty na ľudskú kontrolu, vyžiadanie si objasnenia od používateľa alebo jednoducho vylúčenie z agregovaných štatistík. Jediné volanie by zobrazilo „negatívny“ bez nuansy a tento ticket by si spracoval presne tak ako recenziu plnú zúrivosti.
system = """Si klasifikátor sentimentu.
Analyzuj text a uvažuj krok za krokom.
Svoju konečnú odpoveď uveď za '>>> ANSWER:' s výberom z:
positive, negative, neutral"""
text = "The product is fine but the delivery took 3 weeks."
result = self_consistency(text, system, n=7)
print(f"Sentiment: {result['answer']}")
print(f"Istota: {result['confidence']:.0%}")
print(f"Distribúcia: {result['all_answers']}")
# Príklad výstupu:
# Sentiment: negative
# Istota: 57%
# Distribúcia: {'negative': 4, 'neutral': 3}
Paralelná verzia s asyncio
Cena tejto techniky nie je len finančná: päť sekvenčných volaní znamená aj päťnásobnú latenciu, čo vylučuje tento prístup v akomkoľvek rozhraní, kde niekto čaká pred obrazovkou. Volania sú však úplne nezávislé; nie je žiadne ospravedlnenie čakať na ne jedno po druhom. asyncio.gather zníži celkový čas na čas najpomalšieho volania, čím sa stáva sebakonzistencia kompatibilnou s online použitím, pričom réžia zostáva čisto monetárna.
import asyncio
from openai import AsyncOpenAI
async_client = AsyncOpenAI()
async def self_consistency_async(prompt: str, system: str = "",
n: int = 5) -> dict:
"""Asynchrónna verzia sebakonzistencie."""
async def single_call():
response = await async_client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature vyžaduje effort none
instructions=system + "\nUvažuj a potom uveď svoju odpoveď "
"za '>>> ANSWER:'",
input=prompt,
temperature=0.7
)
return response.output_text
# Spustenie všetkých požiadaviek paralelne
tasks = [single_call() for _ in range(n)]
results = await asyncio.gather(*tasks)
# Extrakcia a hlasovanie
answers = []
for r in results:
if ">>> ANSWER:" in r:
answers.append(r.split(">>> ANSWER:")[-1].strip())
counter = Counter(answers)
best, count = counter.most_common(1)[0] if answers else (None, 0)
return {
"answer": best,
"confidence": count / len(answers) if answers else 0,
"distribution": dict(counter)
}
Kedy použiť sebakonzistenciu
Kritérium rozhodovania je jednoduché: hlasovanie má zmysel len vtedy, ak je odpoveď diskrétna a porovnateľná. Dve dobre napísané zhrnutia nemôžeš sčítať, pretože nikdy nebudú znak po znaku identické; dva štítky kategórií áno.
| Prípad použitia | Užitočné? | Prečo |
|---|---|---|
| Klasifikácia | Áno | Diskrétna odpoveď, jednoduché hlasovanie |
| Matematické uvažovanie | Áno | Viacero ciest k správnej odpovedi |
| Extrakcia entít | Áno | Konsenzus na detegovaných entitách |
| Kreatívne písanie | Nie | Neexistuje jedna „správna“ odpoveď |
| Zhrnutie textu | Čiastočne | Užitočné pre kľúčové fakty, nie pre štýl |
Ladenie pomeru náklady/spoľahlivosť
Tri volania sú minimálny životaschopný počet, aby väčšinové hlasovanie niečo znamenalo; päť ponúka najlepší kompromis pre väčšinu aplikácií; sedem až jedenásť je opodstatnených pri kritických rozhodnutiach, kde chyba stojí oveľa viac než niekoľko extra volaní. Skutočný zisk však pramení skôr z toho, ako využívaš skóre istoty, než z počtu vzoriek. Pod 60 % predpokladaj, že neexistuje konsenzus, a eskaluj problém – buď na ľudského operátora, alebo na výkonnejší model s väčším počtom vzoriek, ako je ukázané nižšie.
result = self_consistency(otazka, system, n=5)
if result["confidence"] < 0.6:
# Žiadny jasný konsenzus, eskalácia
result = self_consistency(otazka, system, n=9, model="gpt-5.6-sol")
Zostávajúcou otázkou je, či sa ti to v tvojom konkrétnom prípade oplatí, a to sa musí merať, nie predpokladať. Implementuj asynchrónnu verziu, spusti ju na tucte otázok klasifikácie sentimentu, kde poznáš očakávanú odpoveď, a potom porovnaj presnosť získanú jedným volaním oproti piatim volaniam. Číslo, ktoré získaš, vyrieši otázku réžie pre tvoj konkrétny prípad, čo žiadne všeobecné odporúčanie nedokáže.
Kľúčové poznatky
- Sebakonzistencia generuje viacero odpovedí a hlasuje pre tú najlepšiu
- Použi teplotu > 0 na dosiahnutie diverzity
- Efektívne pre úlohy s diskrétnou odpoveďou (klasifikácia, výpočet)
- Nepoužiteľné pre kreatívne úlohy bez jednej správnej odpovede
- Paralelizuj volania pomocou asyncio na obmedzenie latencie