Önkonzisztencia: több következtetési útvonal
Ezen az oldalon
Lecke frissítve: 2026. november 3. az OpenAI dokumentációja alapján: a
temperatureés atop_pparaméterek csaknonekövetkeztetési erőfeszítés (reasoning effort) mellett fogadhatók el, míg a GPT-5.6 modellek alapértelmezetten (medium) következtetnek. Az ezeket a paramétereket beállító hívásoknak ezért meg kell adniuk areasoning={"effort": "none"}(Responses API) vagyreasoning_effort="none"(Chat Completions) beállítást. Források: GPT-6 használata · GPT-5.6 Terra.
Önkonzisztencia: több következtetési útvonal
Az önkonzisztencia lényege, hogy ugyanarra a promptra több független választ generálunk, majd kiválasztjuk közülük a leggyakoribbat vagy legkoherensebbet. Az elv a szavazáson alapul: egyetlen hívás kiszolgáltatottá tesz egy rossz sorsolás véletlenszerűségének, míg öt hívás olyan eloszlást biztosít, amelyet kiértékelhetsz. Ez a technika jelentősen javítja a válaszok megbízhatóságát, különösen logikai következtetést és matematikai feladatokat igénylő esetekben.
A megoldandó probléma
Egy LLM minden egyes hívásra eltérő választ adhat, még akkor is, ha a prompt szigorúan azonos. E válaszok egy része helyes, más része hibás, és a kimenet semmi jelet nem ad arra, melyiket olvasod éppen: egy rossz választ ugyanolyan magabiztossággal közöl, mint egy helyeset. Az önkonzisztencia ezt a változékonyságot fordítja a javadra. Ha a modell több különböző következtetési útvonalon keresztül ugyanarra a következtetésre jut, az a következtetés nagy valószínűséggel helyes; egy hiba ezzel szemben ritkán ismétlődik meg pontosan ugyanúgy egyik sorsolásról a másikra, mivel az pontosan a megtett útvonaltól függ.
Alapvető megvalósítás
A mechanizmus három lépésből áll: generálás, a végső válasz kinyerése, szavazás. Az utasításokban kikényszerített >>> ANSWER: jelölő nem csupán kozmetikai elem – ez teszi lehetővé, hogy a kimenetet anélkül elemezd, hogy értelmezned kellene a megelőző következtetést. E horgony nélkül egy törékeny heurisztikát kellene írnod, hogy megtippeld, hol végződik a reflexió és kezdődik a következtetés.
from openai import OpenAI
from collections import Counter
client = OpenAI()
def self_consistency(prompt: str, system: str = "",
n: int = 5, model: str = "gpt-5.6-terra") -> dict:
"""Generál n választ, és visszaadja a leggyakoribbat."""
responses = []
for _ in range(n):
response = client.responses.create(
model=model,
reasoning={"effort": "none"}, # a temperature megköveteli az effort none értéket
instructions=system + "\nLépjésről lépésre következtess, majd add meg "
"a végső válaszodat a '>>> ANSWER:' után",
input=prompt,
temperature=0.7 # Temperature > 0 a diverzitás érdekében
)
responses.append(response.output_text)
# Végső válaszok kinyerése
answers = []
for r in responses:
if ">>> ANSWER:" in r:
answer = r.split(">>> ANSWER:")[-1].strip()
answers.append(answer)
# Többségi szavazás
if answers:
counter = Counter(answers)
best_answer, count = counter.most_common(1)[0]
return {
"answer": best_answer,
"confidence": count / len(answers),
"all_answers": dict(counter),
"total_responses": len(answers)
}
return {"answer": None, "confidence": 0}
Mit árul el a szavazás?
Érzelemosztályozásra alkalmazva a függvény nem csupán egy címkét ad vissza, hanem egy eloszlást is, és ez az eloszlás gyakran értékesebb, mint maga a címke. Az alábbi értékelés esetében, amely valóban ambivalens – a termék rendben van, de a kézbesítés katasztrófális volt –, négy hívás a „negatív“, három pedig a „semleges“ mellett szavaz. Az 57%-os megbízhatóság azt jelzi, hogy ez az eset különleges kezelést érdemelhet: emberi felülvizsgálatra váró sorba állítás, a felhasználótól való tisztázás kérése, vagy egyszerűen kizárás az aggregált statisztikákból. Egyetlen hívás árnyalatok nélkül „negatív“ eredményt mutatott volna, és ezt a jegyet pontosan úgy kezelted volna, mint egy egyhangúan dühös értékelést.
system = """Te egy érzelemosztályozó vagy.
Elemezd a szöveget, és lépjésről lépésre következtess.
Add meg a végső válaszodat a '>>> ANSWER:' után, a következő lehetőségek közül választva:
positive, negative, neutral"""
text = "A termék rendben van, de a kézbesítés 3 hétig tartott."
result = self_consistency(text, system, n=7)
print(f"Érzelem: {result['answer']}")
print(f"Megbízhatóság: {result['confidence']:.0%}")
print(f"Eloszlás: {result['all_answers']}")
# Példa kimenet:
# Érzelem: negative
# Megbízhatóság: 57%
# Eloszlás: {'negative': 4, 'neutral': 3}
Párhuzamos verzió asyncio-val
Ennek a technikának a költsége nem csupán pénzügyi: öt szekvenciális hívás ötszörös késleltetést is jelent, ami kizárja a megközelítést bármely olyan felületen, ahol valaki a képernyő előtt várakozik. Pedig a hívások tökéletesen függetlenek; nincs indok arra, hogy egymás után várj rájuk. Az asyncio.gather a teljes időt a leglassabb hívás idejére csökkenti, így az önkonzisztencia kompatibilissé válik az online használattal, ahol a többletköltség tisztán monetáris marad.
import asyncio
from openai import AsyncOpenAI
async_client = AsyncOpenAI()
async def self_consistency_async(prompt: str, system: str = "",
n: int = 5) -> dict:
"""Az önkonzisztencia aszinkron változata."""
async def single_call():
response = await async_client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # a temperature megköveteli az effort none értéket
instructions=system + "\nKövetkeztess, majd add meg a válaszodat "
"a '>>> ANSWER:' után",
input=prompt,
temperature=0.7
)
return response.output_text
# Minden kérés párhuzamos indítása
tasks = [single_call() for _ in range(n)]
results = await asyncio.gather(*tasks)
# Kinyerés és szavazás
answers = []
for r in results:
if ">>> ANSWER:" in r:
answers.append(r.split(">>> ANSWER:")[-1].strip())
counter = Counter(answers)
best, count = counter.most_common(1)[0] if answers else (None, 0)
return {
"answer": best,
"confidence": count / len(answers) if answers else 0,
"distribution": dict(counter)
}
Mikor alkalmazz önkonzisztenciát?
A döntési kritérium egyszerűen megfogalmazható: a szavazás csak akkor van értelme, ha a válasz diszkrét és összehasonlítható. Két jól megírt összefoglalót nem lehet összeszámlálni, mivel sosem lesznek karakterről karakterre azonosak; két kategóriacímkét viszont igen.
| Használati eset | Hasznos? | Miért |
|---|---|---|
| Osztályozás | Igen | Diszkrét válasz, egyszerű szavazás |
| Matematikai következtetés | Igen | Több útvonal vezet a helyes válaszhoz |
| Entitáskinyerés | Igen | Konszenzus a felismert entitások关于 |
| Kreatív írás | Nem | Nincs egyetlen „helyes“ válasz |
| Szövegösszefoglalás | Részben | Hasznos a kulcstényekhez, nem a stílushoz |
A költség/megbízhatóság arány hangolása
Három hívás a minimálisan szükséges szám ahhoz, hogy a többségi szavazásnak bármi értelme legyen; öt hívás kínálja a legjobb kompromisszumot a legtöbb alkalmazás számára; hét-tizenegy hívás pedig kritikus döntéseknél indokolt, ahol egy hiba sokkal többe kerül, mint néhány extra hívás. A valódi nyereség azonban nem a mintaszámból, hanem abból származik, ahogy a megbízhatósági pontszámot használod. 60% alatt tekints úgy, hogy nincs konszenzus, és eskaláld az ügyet: vagy emberi operátorhoz, vagy egy erősebb modellhez, több mintával, ahogy az alább látható.
result = self_consistency(question, system, n=5)
if result["confidence"] < 0.6:
# Nincs egyértelmű konszenzus, eskaláció
result = self_consistency(question, system, n=9, model="gpt-5.6-sol")
A maradék kérdés az, hogy megéri-e a befektetést a te konkrét esetedben, és ezt mérni kell, nem feltételezni. Implementáld az aszinkron verziót, futtasd le tucatnyi olyan érzelemosztályozási kérdésen, ahol ismered a várt választ, majd hasonlítsd össze a egyetlen hívással, illetve öt hívással elért pontosságot. A kapott szám eldönti a többletköltség kérdését a te specifikus esetedben, amit egyetlen általános ajánlás sem tud helyetted megtenni.
Főbb megállapítások
- Az önkonzisztencia több választ generál, és a legjobbra szavaz
- Használj 0-nál nagyobb temperature értéket a diverzitás eléréséhez
- Hatékony olyan feladatoknál, ahol a válasz diszkrét (osztályozás, számítás)
- Haszontalan kreatív feladatoknál, ahol nincs egyetlen helyes válasz
- Párhuzamosítsd a hívásokat asyncio-val a késleltetés csökkentése érdekében