Enesekonsistentsus: mitu arutlusrada
Sellel lehel
Tund uuendatud 3. novembril 2026 OpenAI dokumentatsiooni põhjal: parameetreid
temperaturejatop_paktsepteeritakse ainult siis, kui arutluse jõupingutus onnone, samas kui GPT-5.6 mudelid arutlevad vaikimisi (medium). Seetõttu peavad need parameetrid määravad päringud sisaldamareasoning={"effort": "none"}(Responses API) võireasoning_effort="none"(Chat Completions). Allikad: GPT-6 kasutamine · GPT-5.6 Terra.
Enesekonsistentsus: mitu arutlusrada
Enesekonsistentsus tähendab sama vihje (prompt) jaoks mitme sõltumatu vastuse genereerimist ja seejärel kõige sagedasema või kooskõlaliseima valimist. Põhimõte on hääletamine: üksik päring jätab sind ühe juhusliku tulemuse meelevalda, kuid viis päringut annab jaotuse, mida saad analüüsida. See tehnika parandab oluliselt vastuste usaldusväärsust, eriti loogilise arutluse ja matemaatiliste ülesannete puhul.
Lahendatav probleem
Suure keelemudel (LLM) võib anda iga päringuga erineva vastuse, isegi kui vihje on täpselt sama. Mõned neist vastustest on õiged, teised valed, ja väljundis pole midagi, mis reedaks, kumb on kumb: vale vastus esitatakse sama kindlusega kui õige. Enesekonsistentsus pöörab selle muutlikkuse sinu kasuks. Kui mudel jõuab sama järelduseni mitut erinevat arutlusrada pidi, on see järeldus tõenäoliselt õige; viga seevastu kordub harva identsetena ühest juhuslikust valikust teise, sest see sõltub täpselt valitud teekonnast.
Põhiline teostus
Mehhanism koosneb kolmest sammust: genereeri, eralda lõppvastus, hääleta. Juhistes nõutav marker >>> ANSWER: ei ole kosmeetiline – just see võimaldab väljundit parsida ilma eelnevat arutlust tõlgendamata. Ilma selle ankruta peaksid kirjutama habras heuristika, et arvata, kus mõttekäik lõpeb ja järeldus algab.
from openai import OpenAI
from collections import Counter
client = OpenAI()
def self_consistency(prompt: str, system: str = "",
n: int = 5, model: str = "gpt-5.6-terra") -> dict:
"""Genereerib n vastust ja tagastab kõige sagedasema."""
responses = []
for _ in range(n):
response = client.responses.create(
model=model,
reasoning={"effort": "none"}, # temperature nõuab effort none
instructions=system + "\nArutle samm-sammult ja anna "
"oma lõppvastus pärast '>>> ANSWER:'",
input=prompt,
temperature=0.7 # Mitmekesisuse jaoks Temperature > 0
)
responses.append(response.output_text)
# Eralda lõppvastused
answers = []
for r in responses:
if ">>> ANSWER:" in r:
answer = r.split(">>> ANSWER:")[-1].strip()
answers.append(answer)
# Enamushääletus
if answers:
counter = Counter(answers)
best_answer, count = counter.most_common(1)[0]
return {
"answer": best_answer,
"confidence": count / len(answers),
"all_answers": dict(counter),
"total_responses": len(answers)
}
return {"answer": None, "confidence": 0}
Mida hääletus sulle ütleb
Rakendatuna meeleolu klassifitseerimisel, tagastab funktsioon mitte ainult sildi, vaid ka jaotuse, mis on sageli väärtuslikum kui silt ise. Allpool oleva ülevaate puhul, mis on tõeliselt mitmetimõistetav – toode on korras, kuid tarne oli katastroofiline – hääletasid neli päringut „negatiivne“ ja kolm „neutraalne“. 57% kindlustunne annab märku, et see juhtum võib vajada erikohtlemist: järjekorda panemine inimülevaatuseks, kasutajalt täpsustuse küsimine või lihtsalt selle välistamine koondstatistikast. Üksik päring oleks näidanud „negatiivne“ ilma nüanssideta ja oleksid käsitlenud seda piletit täpselt nagu ühehäälselt vihast ülevaadet.
system = """Oled meeleolu klassifitseerija.
Analüüsi teksti ja arutle samm-sammult.
Anna oma lõppvastus pärast '>>> ANSWER:', valides järgmistest:
positive, negative, neutral"""
text = "The product is fine but the delivery took 3 weeks."
result = self_consistency(text, system, n=7)
print(f"Sentiment: {result['answer']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Distribution: {result['all_answers']}")
# Näidisväljund:
# Sentiment: negative
# Confidence: 57%
# Distribution: {'negative': 4, 'neutral': 3}
Paralleelne versioon koos asyncio-ga
Selle tehnika kulud ei ole ainult rahalised: viis järjestikust päringut tähendab ka viiekordset latentsust, mis välistab selle lähenemise igas liideses, kus keegi ootab ekraani ees. Ometi on päringud täiesti sõltumatud; pole mingit põhjust oodata neid üksteise järel. asyncio.gather vähendab koguaega aeglaseima päringu ajaks, muutes enesekonsistentsuse sobivaks veebikasutuseks, kus lisakulu on puhtalt rahaline.
import asyncio
from openai import AsyncOpenAI
async_client = AsyncOpenAI()
async def self_consistency_async(prompt: str, system: str = "",
n: int = 5) -> dict:
"""Enesekonsistentsuse asünkroonne versioon."""
async def single_call():
response = await async_client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature nõuab effort none
instructions=system + "\nArutle ja anna oma vastus "
"pärast '>>> ANSWER:'",
input=prompt,
temperature=0.7
)
return response.output_text
# Käivita kõik päringud paralleelselt
tasks = [single_call() for _ in range(n)]
results = await asyncio.gather(*tasks)
# Eralda ja hääleta
answers = []
for r in results:
if ">>> ANSWER:" in r:
answers.append(r.split(">>> ANSWER:")[-1].strip())
counter = Counter(answers)
best, count = counter.most_common(1)[0] if answers else (None, 0)
return {
"answer": best,
"confidence": count / len(answers) if answers else 0,
"distribution": dict(counter)
}
Millal kasutada enesekonsistentsust
Otsuse tegemise kriteerium on lihtne: hääletamisel on mõtet ainult siis, kui vastus on diskreetne ja võrreldav. Kahte hästi kirjutatud kokkuvõtet ei saa kokku lugeda, kuna need ei ole kunagi tähemärgi täpsusega identsed; kahte kategooria silti aga saab.
| Kasutusjuhtum | Kasulik? | Miks |
|---|---|---|
| Klassifitseerimine | Jah | Diskreetne vastus, lihtne hääletus |
| Matemaatiline arutlus | Jah | Mitu teed õige vastuseni |
| Entiteetide eraldamine | Jah | Konsensus tuvastatud entiteetide osas |
| Loomeline kirjutamine | Ei | Puudub üks „õige“ vastus |
| Teksti kokkuvõtmine | Osaliselt | Kasulik võtmefaktide jaoks, mitte stiili jaoks |
Kulu ja usaldusväärsuse suhte häälestamine
Kolm päringut on minimaalne arv, et enamushääletusel oleks mingi tähendus; viis pakub enamiku rakenduste jaoks parimat kompromissi; seitse kuni üksteist on põhjendatud kriitiliste otsuste puhul, kus viga maksab palju rohkem kui mõni lisapäring. Tegelik kasu tuleneb aga pigem kindlustunde skoori kasutamisest kui valimi suurusest. Alla 60% eelda, et konsensust pole, ja eskaleeri olukord – kas inimoperaatorile või võimsamale mudelile rohkemate valimitega, nagu allpool näidatud.
result = self_consistency(question, system, n=5)
if result["confidence"] < 0.6:
# Selget konsensust pole, eskaleeri
result = self_consistency(question, system, n=9, model="gpt-5.6-sol")
Järelejäänud küsimus on, kas vaev tasub end ära just sinu konkreetsel juhul, ja seda tuleb mõõta, mitte eeldada. Rakenda asünkroonne versioon, käivita see tosinatel meeleolu klassifitseerimise küsimustel, kus oodatav vastus on teada, ja võrdle ühe päringuga saadud täpsust viie päringuga saaduga. Saadud arv lahendab lisakulu küsimuse just sinu juhtumi jaoks – seda ei suuda teha ükski üldine soovitus.
Peamised punktid
- Enesekonsistentsus genereerib mitu vastust ja hääletab parima poolt
- Mitmekesisuse saavutamiseks kasuta temperatuuri > 0
- Tõhus ülesannete puhul, millel on diskreetne vastus (klassifitseerimine, arvutamine)
- Kasutu loovate ülesannete puhul, millel pole ühte õiget vastust
- Latentsuse piiramiseks paralleeli päringud asyncio-ga