Nuoseklumas: keli samprotavimo keliai
Šiame puslapyje
Pamoka atnaujinta 2026 m. lapkričio 3 d. pagal „OpenAI“ dokumentaciją: parametrai
temperatureirtop_ppriimami tik esantnonesamprotavimo pastangų lygiui, tuo tarpu GPT-5.6 modeliai pagal nutylėjimą samprotauja (medium). Todėl kvietimuose, kuriuose nustatomi šie parametrai, būtina nurodytireasoning={"effort": "none"}(Responses API) arbareasoning_effort="none"(Chat Completions). Šaltiniai: Using GPT-6 · GPT-5.6 Terra.
Nuoseklumas: keli samprotavimo keliai
Nuoseklumo metodas apima kelių nepriklausomų atsakymų generavimą tam pačiam užklausos tekstui (prompt), o tada dažniausiai pasitaikančio arba logiškiausio pasirinkimą. Principas yra balsavimas: vienas kvietimas palieka tave atvirą atsitiktinai nesėkmei, o penki kvietimai suteikia pasiskirstymą, kurį gali analizuoti. Ši technika žymiai pagerina atsakymų patikimumą, ypač loginio samprotavimo ir matematinių užduočių atveju.
Kokią problemą tai sprendžia
Didelis kalbos modelis (LLM) kiekvieno kvietimo metu gali pateikti skirtingą atsakymą, net jei užklausos tekstas yra visiškai identiškas. Kai kurie atsakymai būna teisingi, kiti – ne, ir joks išvesties požymis nenurodo, kurį skaitai: klaidingas atsakymas dažnai išdėstomas tokiu pat užtikrintumu kaip ir teisingas. Nuoseklumo metodas paverčia šį kintamumą tavo privalumu. Jei modelis ateina prie tos pačios išvados keliais skirtingais samprotavimo keliais, ta išvada greičiausiai yra teisinga; priešingai, klaida retai pasikartoja identiškai iš vieno „traukimo“ į kitą, nes ji tiesiogiai priklauso nuo pasirinkto kelio.
Pagrindinis įgyvendinimas
Mechanizmą sudaro trys žingsniai: generavimas, galutinio atsakymo ištraukimas ir balsavimas. Instrukcijose įtvirtintas žymeklis >>> ANSWER: nėra kosmetinis – būtent jis leidžia programuškai apdoroti išvestį neinterpretuojant prieš tai einančio samprotavimo. Be šio inkaro, turėtum rašyti trapų heuristinį algoritmą, bandantį atspėti, kur baigiasi svarstymai ir prasideda išvada.
from openai import OpenAI
from collections import Counter
client = OpenAI()
def self_consistency(prompt: str, system: str = "",
n: int = 5, model: str = "gpt-5.6-terra") -> dict:
"""Sugeneruoja n atsakymų ir grąžina dažniausiai pasitaikantį."""
responses = []
for _ in range(n):
response = client.responses.create(
model=model,
reasoning={"effort": "none"}, # temperature reikalauja effort none
instructions=system + "\nSamprotaukite žingsnis po žingsnio, tada pateikite "
"savo galutinį atsakymą po '>>> ANSWER:'",
input=prompt,
temperature=0.7 # Temperature > 0 įvairovei užtikrinti
)
responses.append(response.output_text)
# Ištraukiame galutinius atsakymus
answers = []
for r in responses:
if ">>> ANSWER:" in r:
answer = r.split(">>> ANSWER:")[-1].strip()
answers.append(answer)
# Daugumos balsavimas
if answers:
counter = Counter(answers)
best_answer, count = counter.most_common(1)[0]
return {
"answer": best_answer,
"confidence": count / len(answers),
"all_answers": dict(counter),
"total_responses": len(answers)
}
return {"answer": None, "confidence": 0}
Ką tau sako balsavimas
Taikant nuotaikų klasifikacijai, funkcija grąžina ne tik etiketę, bet ir pasiskirstymą, kuris dažnai yra vertingesnis už pačią etiketę. Žemiau pateiktai apžvalgai, kuri yra tikrai dviprasmiška (produktas geras, bet pristatymas buvo katastrofiškas), keturi kvietimai balsavo „neigiama“, o trys – „neutralu“. 57 % pasitikėjimo rodiklis signalizuoja, kad šis atvejis gali nusipelnyti specialaus apdorojimo: eilės laukimo žmogaus peržiūrai, papildomo klausimo naudotojui arba tiesiog neįtraukimo į bendrą statistiką. Vienas kvietimas būtų parodęs „neigiama“ be jokių niuansų, ir šį bilietą būtum traktavęs taip pat, kaip ir vienbalsiai įtūžusią apžvalgą.
system = """Esi nuotaikų klasifikatorius.
Išanalizuok tekstą ir samprotauk žingsnis po žingsnio.
Savo galutinį atsakymą pateik po '>>> ANSWER:', pasirinkdamas iš:
positive, negative, neutral"""
text = "The product is fine but the delivery took 3 weeks."
result = self_consistency(text, system, n=7)
print(f"Nuotaika: {result['answer']}")
print(f"Pasitikėjimas: {result['confidence']:.0%}")
print(f"Pasiskirstymas: {result['all_answers']}")
# Pavyzdinė išvestis:
# Nuotaika: negative
# Pasitikėjimas: 57%
# Pasiskirstymas: {'negative': 4, 'neutral': 3}
Lygiagreti versija naudojant asyncio
Šios technikos kaina yra ne tik finansinė: penki nuoseklūs kvietimai reiškia ir penkis kartus didesnę delsą, todėl šis metodas netinka jokiai sąsajai, kurioje kas nors laukia prie ekrano. Tačiau kvietimai yra visiškai nepriklausomi; nėra jokio pagrindo laukti jų vieno po kito. asyncio.gather sumažina bendrą laiką iki lėčiausio kvietimo trukmės, todėl nuoseklumo metodas tampa tinkamas naudojimui internetu, o papildoma našta lieka tik monetarinė.
import asyncio
from openai import AsyncOpenAI
async_client = AsyncOpenAI()
async def self_consistency_async(prompt: str, system: str = "",
n: int = 5) -> dict:
"""Asinchroninė nuoseklumo versija."""
async def single_call():
response = await async_client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature reikalauja effort none
instructions=system + "\nSamprotauk, tada pateik atsakymą "
"po '>>> ANSWER:'",
input=prompt,
temperature=0.7
)
return response.output_text
# Paleidžiame visus užklausas lygiagrečiai
tasks = [single_call() for _ in range(n)]
results = await asyncio.gather(*tasks)
# Ištraukiame ir balsuojame
answers = []
for r in results:
if ">>> ANSWER:" in r:
answers.append(r.split(">>> ANSWER:")[-1].strip())
counter = Counter(answers)
best, count = counter.most_common(1)[0] if answers else (None, 0)
return {
"answer": best,
"confidence": count / len(answers) if answers else 0,
"distribution": dict(counter)
}
Kada naudoti nuoseklumo metodą
Sprendimo kriterijus yra paprastas: balsavimas turi prasmę tik tada, kai atsakymas yra diskretus ir palyginamas. Dviejų gerai parašytų santraukų negalima susumuoti, nes jos niekada nebus identiškos simbolis po simbolio; tačiau dvi kategorijų etiketes – galima.
| Naudojimo atvejis | Naudinga? | Kodėl |
|---|---|---|
| Klasifikacija | Taip | Diskretus atsakymas, paprastas balsavimas |
| Matematinis samprotavimas | Taip | Keli keliai į teisingą atsakymą |
| Entitetų ištraukimas | Taip | Konsensusas dėl aptiktų entitetų |
| Kūrybinis rašymas | Ne | Nėra vieno „teisingo“ atsakymo |
| Teksto santrauka | Iš dalies | Naudinga faktams, ne stiliui |
Išlaidų ir patikimumo santykio derinimas
Trys kvietimai yra minimalus skaičius, kad daugumos balsavimas turėtų prasmę; penki siūlo geriausią kompromisą daugumai programų; septyni–vienuolika yra pateisinami kritiniams sprendimams, kai klaida kainuoja daug daugiau nei keli papildomi kvietimai. Tačiau tikrąją naudą duoda ne imties dydis, o tai, kaip naudoji pasitikėjimo rodiklį. Jei jis mažesnis nei 60 %, laikyk, kad konsensuso nėra, ir perduok klausimą toliau – žmogaus operatoriui arba galingesniam modeliui su didesniu imties dydžiu, kaip parodyta žemiau.
result = self_consistency(question, system, n=5)
if result["confidence"] < 0.6:
# Nėra aiškaus konsensuso, perduodame toliau
result = self_consistency(question, system, n=9, model="gpt-5.6-sol")
Lieka klausimas, ar verta žaisti su šiuo metodu tavo konkrečiu atveju, ir tai reikia išmatuoti, o ne manyti. Įdiek asinchroninę versiją, paleisk ją keliolikai nuotaikų klasifikavimo klausimų, kurių atsakymus žinai iš anksto, tada palygink tikslumą gaunamą vienu kvietimu ir penkiais kvietimais. Gautas skaičius išspręs papildomos naštos klausimą tavo specifiniam atvejui – to negali padaryti jokia bendro pobūdžio rekomendacija.
Svarbiausi punktai
- Nuoseklumo metodas generuoja kelis atsakymus ir balsuoja už geriausią
- Naudok
temperature> 0, kad užtikrintum įvairovę - Efektyvu užduotims su diskrečiu atsakymu (klasifikacija, skaičiavimas)
- Nenaudinga kūrybinėms užduotims, kurios neturi vieno teisingo atsakymo
- Lygiagretink kvietimus naudodamas
asyncio, kad sumažintum delsą