Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Enesekonsistentsus: mitu arutlusrada

Õppetund 6 / 16 Värskendatud 3. november 2026 Arendajatele
Sellel lehel
  1. Enesekonsistentsus: mitu arutlusrada
  2. Lahendatav probleem
  3. Põhiline teostus
  4. Mida hääletus sulle ütleb
  5. Paralleelne versioon koos asyncio-ga
  6. Millal kasutada enesekonsistentsust
  7. Kulu ja usaldusväärsuse suhte häälestamine
  8. Peamised punktid

Tund uuendatud 3. novembril 2026 OpenAI dokumentatsiooni põhjal: parameetreid temperature ja top_p aktsepteeritakse ainult siis, kui arutluse jõupingutus on none, samas kui GPT-5.6 mudelid arutlevad vaikimisi (medium). Seetõttu peavad need parameetrid määravad päringud sisaldama reasoning={"effort": "none"} (Responses API) või reasoning_effort="none" (Chat Completions). Allikad: GPT-6 kasutamine · GPT-5.6 Terra.

Enesekonsistentsus: mitu arutlusrada

Enesekonsistentsus tähendab sama vihje (prompt) jaoks mitme sõltumatu vastuse genereerimist ja seejärel kõige sagedasema või kooskõlaliseima valimist. Põhimõte on hääletamine: üksik päring jätab sind ühe juhusliku tulemuse meelevalda, kuid viis päringut annab jaotuse, mida saad analüüsida. See tehnika parandab oluliselt vastuste usaldusväärsust, eriti loogilise arutluse ja matemaatiliste ülesannete puhul.

Lahendatav probleem

Suure keelemudel (LLM) võib anda iga päringuga erineva vastuse, isegi kui vihje on täpselt sama. Mõned neist vastustest on õiged, teised valed, ja väljundis pole midagi, mis reedaks, kumb on kumb: vale vastus esitatakse sama kindlusega kui õige. Enesekonsistentsus pöörab selle muutlikkuse sinu kasuks. Kui mudel jõuab sama järelduseni mitut erinevat arutlusrada pidi, on see järeldus tõenäoliselt õige; viga seevastu kordub harva identsetena ühest juhuslikust valikust teise, sest see sõltub täpselt valitud teekonnast.

Põhiline teostus

Mehhanism koosneb kolmest sammust: genereeri, eralda lõppvastus, hääleta. Juhistes nõutav marker >>> ANSWER: ei ole kosmeetiline – just see võimaldab väljundit parsida ilma eelnevat arutlust tõlgendamata. Ilma selle ankruta peaksid kirjutama habras heuristika, et arvata, kus mõttekäik lõpeb ja järeldus algab.

from openai import OpenAI
from collections import Counter

client = OpenAI()

def self_consistency(prompt: str, system: str = "",
                     n: int = 5, model: str = "gpt-5.6-terra") -> dict:
    """Genereerib n vastust ja tagastab kõige sagedasema."""
    responses = []

    for _ in range(n):
        response = client.responses.create(
            model=model,
            reasoning={"effort": "none"},  # temperature nõuab effort none
            instructions=system + "\nArutle samm-sammult ja anna "
                         "oma lõppvastus pärast '>>> ANSWER:'",
            input=prompt,
            temperature=0.7  # Mitmekesisuse jaoks Temperature > 0
        )
        responses.append(response.output_text)

    # Eralda lõppvastused
    answers = []
    for r in responses:
        if ">>> ANSWER:" in r:
            answer = r.split(">>> ANSWER:")[-1].strip()
            answers.append(answer)

    # Enamushääletus
    if answers:
        counter = Counter(answers)
        best_answer, count = counter.most_common(1)[0]
        return {
            "answer": best_answer,
            "confidence": count / len(answers),
            "all_answers": dict(counter),
            "total_responses": len(answers)
        }
    return {"answer": None, "confidence": 0}

Mida hääletus sulle ütleb

Rakendatuna meeleolu klassifitseerimisel, tagastab funktsioon mitte ainult sildi, vaid ka jaotuse, mis on sageli väärtuslikum kui silt ise. Allpool oleva ülevaate puhul, mis on tõeliselt mitmetimõistetav – toode on korras, kuid tarne oli katastroofiline – hääletasid neli päringut „negatiivne“ ja kolm „neutraalne“. 57% kindlustunne annab märku, et see juhtum võib vajada erikohtlemist: järjekorda panemine inimülevaatuseks, kasutajalt täpsustuse küsimine või lihtsalt selle välistamine koondstatistikast. Üksik päring oleks näidanud „negatiivne“ ilma nüanssideta ja oleksid käsitlenud seda piletit täpselt nagu ühehäälselt vihast ülevaadet.

system = """Oled meeleolu klassifitseerija.
Analüüsi teksti ja arutle samm-sammult.
Anna oma lõppvastus pärast '>>> ANSWER:', valides järgmistest:
positive, negative, neutral"""

text = "The product is fine but the delivery took 3 weeks."

result = self_consistency(text, system, n=7)
print(f"Sentiment: {result['answer']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Distribution: {result['all_answers']}")
# Näidisväljund:
# Sentiment: negative
# Confidence: 57%
# Distribution: {'negative': 4, 'neutral': 3}

Paralleelne versioon koos asyncio-ga

Selle tehnika kulud ei ole ainult rahalised: viis järjestikust päringut tähendab ka viiekordset latentsust, mis välistab selle lähenemise igas liideses, kus keegi ootab ekraani ees. Ometi on päringud täiesti sõltumatud; pole mingit põhjust oodata neid üksteise järel. asyncio.gather vähendab koguaega aeglaseima päringu ajaks, muutes enesekonsistentsuse sobivaks veebikasutuseks, kus lisakulu on puhtalt rahaline.

import asyncio
from openai import AsyncOpenAI

async_client = AsyncOpenAI()

async def self_consistency_async(prompt: str, system: str = "",
                                  n: int = 5) -> dict:
    """Enesekonsistentsuse asünkroonne versioon."""

    async def single_call():
        response = await async_client.responses.create(
            model="gpt-5.6-terra",
            reasoning={"effort": "none"},  # temperature nõuab effort none
            instructions=system + "\nArutle ja anna oma vastus "
                         "pärast '>>> ANSWER:'",
            input=prompt,
            temperature=0.7
        )
        return response.output_text

    # Käivita kõik päringud paralleelselt
    tasks = [single_call() for _ in range(n)]
    results = await asyncio.gather(*tasks)

    # Eralda ja hääleta
    answers = []
    for r in results:
        if ">>> ANSWER:" in r:
            answers.append(r.split(">>> ANSWER:")[-1].strip())

    counter = Counter(answers)
    best, count = counter.most_common(1)[0] if answers else (None, 0)

    return {
        "answer": best,
        "confidence": count / len(answers) if answers else 0,
        "distribution": dict(counter)
    }

Millal kasutada enesekonsistentsust

Otsuse tegemise kriteerium on lihtne: hääletamisel on mõtet ainult siis, kui vastus on diskreetne ja võrreldav. Kahte hästi kirjutatud kokkuvõtet ei saa kokku lugeda, kuna need ei ole kunagi tähemärgi täpsusega identsed; kahte kategooria silti aga saab.

Kasutusjuhtum Kasulik? Miks
Klassifitseerimine Jah Diskreetne vastus, lihtne hääletus
Matemaatiline arutlus Jah Mitu teed õige vastuseni
Entiteetide eraldamine Jah Konsensus tuvastatud entiteetide osas
Loomeline kirjutamine Ei Puudub üks „õige“ vastus
Teksti kokkuvõtmine Osaliselt Kasulik võtmefaktide jaoks, mitte stiili jaoks

Kulu ja usaldusväärsuse suhte häälestamine

Kolm päringut on minimaalne arv, et enamushääletusel oleks mingi tähendus; viis pakub enamiku rakenduste jaoks parimat kompromissi; seitse kuni üksteist on põhjendatud kriitiliste otsuste puhul, kus viga maksab palju rohkem kui mõni lisapäring. Tegelik kasu tuleneb aga pigem kindlustunde skoori kasutamisest kui valimi suurusest. Alla 60% eelda, et konsensust pole, ja eskaleeri olukord – kas inimoperaatorile või võimsamale mudelile rohkemate valimitega, nagu allpool näidatud.

result = self_consistency(question, system, n=5)

if result["confidence"] < 0.6:
    # Selget konsensust pole, eskaleeri
    result = self_consistency(question, system, n=9, model="gpt-5.6-sol")

Järelejäänud küsimus on, kas vaev tasub end ära just sinu konkreetsel juhul, ja seda tuleb mõõta, mitte eeldada. Rakenda asünkroonne versioon, käivita see tosinatel meeleolu klassifitseerimise küsimustel, kus oodatav vastus on teada, ja võrdle ühe päringuga saadud täpsust viie päringuga saaduga. Saadud arv lahendab lisakulu küsimuse just sinu juhtumi jaoks – seda ei suuda teha ükski üldine soovitus.

Peamised punktid

  • Enesekonsistentsus genereerib mitu vastust ja hääletab parima poolt
  • Mitmekesisuse saavutamiseks kasuta temperatuuri > 0
  • Tõhus ülesannete puhul, millel on diskreetne vastus (klassifitseerimine, arvutamine)
  • Kasutu loovate ülesannete puhul, millel pole ühte õiget vastust
  • Latentsuse piiramiseks paralleeli päringud asyncio-ga