Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Nuoseklumas: keli samprotavimo keliai

Paskaita 6 iš 16 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. Nuoseklumas: keli samprotavimo keliai
  2. Kokią problemą tai sprendžia
  3. Pagrindinis įgyvendinimas
  4. Ką tau sako balsavimas
  5. Lygiagreti versija naudojant asyncio
  6. Kada naudoti nuoseklumo metodą
  7. Išlaidų ir patikimumo santykio derinimas
  8. Svarbiausi punktai

Pamoka atnaujinta 2026 m. lapkričio 3 d. pagal „OpenAI“ dokumentaciją: parametrai temperature ir top_p priimami tik esant none samprotavimo pastangų lygiui, tuo tarpu GPT-5.6 modeliai pagal nutylėjimą samprotauja (medium). Todėl kvietimuose, kuriuose nustatomi šie parametrai, būtina nurodyti reasoning={"effort": "none"} (Responses API) arba reasoning_effort="none" (Chat Completions). Šaltiniai: Using GPT-6 · GPT-5.6 Terra.

Nuoseklumas: keli samprotavimo keliai

Nuoseklumo metodas apima kelių nepriklausomų atsakymų generavimą tam pačiam užklausos tekstui (prompt), o tada dažniausiai pasitaikančio arba logiškiausio pasirinkimą. Principas yra balsavimas: vienas kvietimas palieka tave atvirą atsitiktinai nesėkmei, o penki kvietimai suteikia pasiskirstymą, kurį gali analizuoti. Ši technika žymiai pagerina atsakymų patikimumą, ypač loginio samprotavimo ir matematinių užduočių atveju.

Kokią problemą tai sprendžia

Didelis kalbos modelis (LLM) kiekvieno kvietimo metu gali pateikti skirtingą atsakymą, net jei užklausos tekstas yra visiškai identiškas. Kai kurie atsakymai būna teisingi, kiti – ne, ir joks išvesties požymis nenurodo, kurį skaitai: klaidingas atsakymas dažnai išdėstomas tokiu pat užtikrintumu kaip ir teisingas. Nuoseklumo metodas paverčia šį kintamumą tavo privalumu. Jei modelis ateina prie tos pačios išvados keliais skirtingais samprotavimo keliais, ta išvada greičiausiai yra teisinga; priešingai, klaida retai pasikartoja identiškai iš vieno „traukimo“ į kitą, nes ji tiesiogiai priklauso nuo pasirinkto kelio.

Pagrindinis įgyvendinimas

Mechanizmą sudaro trys žingsniai: generavimas, galutinio atsakymo ištraukimas ir balsavimas. Instrukcijose įtvirtintas žymeklis >>> ANSWER: nėra kosmetinis – būtent jis leidžia programuškai apdoroti išvestį neinterpretuojant prieš tai einančio samprotavimo. Be šio inkaro, turėtum rašyti trapų heuristinį algoritmą, bandantį atspėti, kur baigiasi svarstymai ir prasideda išvada.

from openai import OpenAI
from collections import Counter

client = OpenAI()

def self_consistency(prompt: str, system: str = "",
                     n: int = 5, model: str = "gpt-5.6-terra") -> dict:
    """Sugeneruoja n atsakymų ir grąžina dažniausiai pasitaikantį."""
    responses = []

    for _ in range(n):
        response = client.responses.create(
            model=model,
            reasoning={"effort": "none"},  # temperature reikalauja effort none
            instructions=system + "\nSamprotaukite žingsnis po žingsnio, tada pateikite "
                         "savo galutinį atsakymą po '>>> ANSWER:'",
            input=prompt,
            temperature=0.7  # Temperature > 0 įvairovei užtikrinti
        )
        responses.append(response.output_text)

    # Ištraukiame galutinius atsakymus
    answers = []
    for r in responses:
        if ">>> ANSWER:" in r:
            answer = r.split(">>> ANSWER:")[-1].strip()
            answers.append(answer)

    # Daugumos balsavimas
    if answers:
        counter = Counter(answers)
        best_answer, count = counter.most_common(1)[0]
        return {
            "answer": best_answer,
            "confidence": count / len(answers),
            "all_answers": dict(counter),
            "total_responses": len(answers)
        }
    return {"answer": None, "confidence": 0}

Ką tau sako balsavimas

Taikant nuotaikų klasifikacijai, funkcija grąžina ne tik etiketę, bet ir pasiskirstymą, kuris dažnai yra vertingesnis už pačią etiketę. Žemiau pateiktai apžvalgai, kuri yra tikrai dviprasmiška (produktas geras, bet pristatymas buvo katastrofiškas), keturi kvietimai balsavo „neigiama“, o trys – „neutralu“. 57 % pasitikėjimo rodiklis signalizuoja, kad šis atvejis gali nusipelnyti specialaus apdorojimo: eilės laukimo žmogaus peržiūrai, papildomo klausimo naudotojui arba tiesiog neįtraukimo į bendrą statistiką. Vienas kvietimas būtų parodęs „neigiama“ be jokių niuansų, ir šį bilietą būtum traktavęs taip pat, kaip ir vienbalsiai įtūžusią apžvalgą.

system = """Esi nuotaikų klasifikatorius.
Išanalizuok tekstą ir samprotauk žingsnis po žingsnio.
Savo galutinį atsakymą pateik po '>>> ANSWER:', pasirinkdamas iš:
positive, negative, neutral"""

text = "The product is fine but the delivery took 3 weeks."

result = self_consistency(text, system, n=7)
print(f"Nuotaika: {result['answer']}")
print(f"Pasitikėjimas: {result['confidence']:.0%}")
print(f"Pasiskirstymas: {result['all_answers']}")
# Pavyzdinė išvestis:
# Nuotaika: negative
# Pasitikėjimas: 57%
# Pasiskirstymas: {'negative': 4, 'neutral': 3}

Lygiagreti versija naudojant asyncio

Šios technikos kaina yra ne tik finansinė: penki nuoseklūs kvietimai reiškia ir penkis kartus didesnę delsą, todėl šis metodas netinka jokiai sąsajai, kurioje kas nors laukia prie ekrano. Tačiau kvietimai yra visiškai nepriklausomi; nėra jokio pagrindo laukti jų vieno po kito. asyncio.gather sumažina bendrą laiką iki lėčiausio kvietimo trukmės, todėl nuoseklumo metodas tampa tinkamas naudojimui internetu, o papildoma našta lieka tik monetarinė.

import asyncio
from openai import AsyncOpenAI

async_client = AsyncOpenAI()

async def self_consistency_async(prompt: str, system: str = "",
                                  n: int = 5) -> dict:
    """Asinchroninė nuoseklumo versija."""

    async def single_call():
        response = await async_client.responses.create(
            model="gpt-5.6-terra",
            reasoning={"effort": "none"},  # temperature reikalauja effort none
            instructions=system + "\nSamprotauk, tada pateik atsakymą "
                         "po '>>> ANSWER:'",
            input=prompt,
            temperature=0.7
        )
        return response.output_text

    # Paleidžiame visus užklausas lygiagrečiai
    tasks = [single_call() for _ in range(n)]
    results = await asyncio.gather(*tasks)

    # Ištraukiame ir balsuojame
    answers = []
    for r in results:
        if ">>> ANSWER:" in r:
            answers.append(r.split(">>> ANSWER:")[-1].strip())

    counter = Counter(answers)
    best, count = counter.most_common(1)[0] if answers else (None, 0)

    return {
        "answer": best,
        "confidence": count / len(answers) if answers else 0,
        "distribution": dict(counter)
    }

Kada naudoti nuoseklumo metodą

Sprendimo kriterijus yra paprastas: balsavimas turi prasmę tik tada, kai atsakymas yra diskretus ir palyginamas. Dviejų gerai parašytų santraukų negalima susumuoti, nes jos niekada nebus identiškos simbolis po simbolio; tačiau dvi kategorijų etiketes – galima.

Naudojimo atvejis Naudinga? Kodėl
Klasifikacija Taip Diskretus atsakymas, paprastas balsavimas
Matematinis samprotavimas Taip Keli keliai į teisingą atsakymą
Entitetų ištraukimas Taip Konsensusas dėl aptiktų entitetų
Kūrybinis rašymas Ne Nėra vieno „teisingo“ atsakymo
Teksto santrauka Iš dalies Naudinga faktams, ne stiliui

Išlaidų ir patikimumo santykio derinimas

Trys kvietimai yra minimalus skaičius, kad daugumos balsavimas turėtų prasmę; penki siūlo geriausią kompromisą daugumai programų; septyni–vienuolika yra pateisinami kritiniams sprendimams, kai klaida kainuoja daug daugiau nei keli papildomi kvietimai. Tačiau tikrąją naudą duoda ne imties dydis, o tai, kaip naudoji pasitikėjimo rodiklį. Jei jis mažesnis nei 60 %, laikyk, kad konsensuso nėra, ir perduok klausimą toliau – žmogaus operatoriui arba galingesniam modeliui su didesniu imties dydžiu, kaip parodyta žemiau.

result = self_consistency(question, system, n=5)

if result["confidence"] < 0.6:
    # Nėra aiškaus konsensuso, perduodame toliau
    result = self_consistency(question, system, n=9, model="gpt-5.6-sol")

Lieka klausimas, ar verta žaisti su šiuo metodu tavo konkrečiu atveju, ir tai reikia išmatuoti, o ne manyti. Įdiek asinchroninę versiją, paleisk ją keliolikai nuotaikų klasifikavimo klausimų, kurių atsakymus žinai iš anksto, tada palygink tikslumą gaunamą vienu kvietimu ir penkiais kvietimais. Gautas skaičius išspręs papildomos naštos klausimą tavo specifiniam atvejui – to negali padaryti jokia bendro pobūdžio rekomendacija.

Svarbiausi punktai

  • Nuoseklumo metodas generuoja kelis atsakymus ir balsuoja už geriausią
  • Naudok temperature > 0, kad užtikrintum įvairovę
  • Efektyvu užduotims su diskrečiu atsakymu (klasifikacija, skaičiavimas)
  • Nenaudinga kūrybinėms užduotims, kurios neturi vieno teisingo atsakymo
  • Lygiagretink kvietimus naudodamas asyncio, kad sumažintum delsą