Samokonzistentnost: Više putova rezoniranja
Na ovoj stranici
Lekcija ažurirana 3. studenog 2026. na temelju OpenAI dokumentacije: parametri
temperatureitop_pprihvaćeni su samo uz napor rezoniranja (reasoning effort) vrijednostinone, dok modeli GPT-5.6 prema zadanim postavkama rezoniraju (medium). Pozivi koji postavljaju ove parametre stoga moraju specificiratireasoning={"effort": "none"}(Responses API) ilireasoning_effort="none"(Chat Completions). Izvori: Korištenje GPT-6 · GPT-5.6 Terra.
Samokonzistentnost: Više putova rezoniranja
Samokonzistentnost podrazumijeva generiranje više neovisnih odgovora na isti upit, a zatim odabir onog koji se najčešće pojavljuje ili je najkoherentniji. Princip je glasovanje: jedan poziv izlaže te riziku lošeg ishoda zbog slučajnosti, dok ti pet poziva daje distribuciju koju možeš analizirati. Ova tehnika značajno poboljšava pouzdanost odgovora, posebno kod zadaća logičkog rezoniranja i matematičkih problema.
Problem koji rješava
LLM može dati različit odgovor pri svakom pozivu, čak i uz strogo identičan upit. Neki od tih odgovora su točni, drugi nisu, a ništa u izlazu ne signalizira koji čitaš: pogrešan odgovor iznesen je s istom sigurnošću kao i točan. Samokonzistentnost tu varijabilnost pretvara u tvoju prednost. Ako model dođe do istog zaključka putem nekoliko različitih putova rezoniranja, taj je zaključak vjerojatno točan; nasuprot tome, greška se rijetko reproducira identično iz jednog pokušaja u drugi jer upravo ovisi o odabranom putu.
Osnovna implementacija
Mehanizam ima tri koraka: generiraj, izdvoj konačni odgovor, glasuj. Oznaka >>> ANSWER: nametnuta u uputama nije kozmetička – ona je ono što omogućuje parsiranje izlaza bez potrebe za tumačenjem rezoniranja koje mu prethodi. Bez te sidrišne točke, morao bi napisati krhku heuristiku kako bi pogodio gdje razmišljanje završava, a zaključak počinje.
from openai import OpenAI
from collections import Counter
client = OpenAI()
def self_consistency(prompt: str, system: str = "",
n: int = 5, model: str = "gpt-5.6-terra") -> dict:
"""Generira n odgovora i vraća onaj koji se najčešće pojavljuje."""
responses = []
for _ in range(n):
response = client.responses.create(
model=model,
reasoning={"effort": "none"}, # temperature zahtijeva effort none
instructions=system + "\nRazmišljaj korak po korak, zatim daj "
"svoj konačni odgovor nakon '>>> ANSWER:'",
input=prompt,
temperature=0.7 # Temperature > 0 za raznolikost
)
responses.append(response.output_text)
# Izdvajanje konačnih odgovora
answers = []
for r in responses:
if ">>> ANSWER:" in r:
answer = r.split(">>> ANSWER:")[-1].strip()
answers.append(answer)
# Većinsko glasovanje
if answers:
counter = Counter(answers)
best_answer, count = counter.most_common(1)[0]
return {
"answer": best_answer,
"confidence": count / len(answers),
"all_answers": dict(counter),
"total_responses": len(answers)
}
return {"answer": None, "confidence": 0}
Što ti glasovanje govori
Primijenjeno na klasifikaciju sentimenta, funkcija ne vraća samo oznaku već i distribuciju, a ta je distribucija često vrijednija od same oznake. Za recenziju u nastavku, koja je doista dvosmislena – proizvod je u redu, ali dostava je bila katastrofalna – četiri poziva glasuju za „negativno“, a tri za „neutralno“. Pouzdanost od 57% govori ti da ovaj slučaj zaslužuje posebnu obradu: stavljanje u red za ljudsku provjeru, traženje pojašnjenja od korisnika ili jednostavno isključivanje iz agregirane statistike. Jedan poziv prikazao bi „negativno“ bez nijansi, pa bi taj tiket tretirao točno isto kao i recenziju punu bijesa s jednoglasnim negativnim ocjenama.
system = """Ti si klasifikator sentimenta.
Analiziraj tekst i razmišljaj korak po korak.
Daj svoj konačni odgovor nakon '>>> ANSWER:' birajući između:
positive, negative, neutral"""
text = "The product is fine but the delivery took 3 weeks."
result = self_consistency(text, system, n=7)
print(f"Sentiment: {result['answer']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Distribution: {result['all_answers']}")
# Primjer izlaza:
# Sentiment: negative
# Confidence: 57%
# Distribution: {'negative': 4, 'neutral': 3}
Paralelna verzija s asyncio
Cijena ove tehnike nije samo financijska: pet sekvencijalnih poziva znači i pet puta veću latenciju, što isključuje ovaj pristup u bilo kojem sučelju gdje netko čeka ispred zaslona. Ipak, pozivi su savršeno neovisni; nema opravdanja čekati ih jedan za drugim. asyncio.gather smanjuje ukupno vrijeme na vrijeme najsporijeg poziva, čineći samokonzistentnost kompatibilnom s online uporabom, uz trošak koji postaje isključivo monetaran.
import asyncio
from openai import AsyncOpenAI
async_client = AsyncOpenAI()
async def self_consistency_async(prompt: str, system: str = "",
n: int = 5) -> dict:
"""Asinkrona verzija samokonzistentnosti."""
async def single_call():
response = await async_client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature zahtijeva effort none
instructions=system + "\nRazmišljaj, zatim daj svoj odgovor "
"nakon '>>> ANSWER:'",
input=prompt,
temperature=0.7
)
return response.output_text
# Pokreni sve zahtjeve paralelno
tasks = [single_call() for _ in range(n)]
results = await asyncio.gather(*tasks)
# Izdvoji i glasuj
answers = []
for r in results:
if ">>> ANSWER:" in r:
answers.append(r.split(">>> ANSWER:")[-1].strip())
counter = Counter(answers)
best, count = counter.most_common(1)[0] if answers else (None, 0)
return {
"answer": best,
"confidence": count / len(answers) if answers else 0,
"distribution": dict(counter)
}
Kada koristiti samokonzistentnost
Kriterij odluke jednostavan je za izreći: glasovanje ima smisla samo ako je odgovor diskretan i usporediv. Dva dobro napisana sažetka ne mogu se zbrajati jer nikada neće biti identična znak po znak; dvije oznake kategorije mogu.
| Slučaj uporabe | Korisno? | Zašto |
|---|---|---|
| Klasifikacija | Da | Diskretan odgovor, jednostavno glasovanje |
| Matematičko rezoniranje | Da | Više putova do točnog odgovora |
| Ekstrakcija entiteta | Da | Konsenzus o detektiranim entitetima |
| Kreativno pisanje | Ne | Ne postoji jedan „točan“ odgovor |
| Sažimanje teksta | Djelomično | Korisno za ključne činjenice, ne za stil |
Podešavanje omjera troška i pouzdanosti
Tri poziva su minimalan broj da većinsko glasovanje išta znači; pet nudi najbolji kompromis za većinu aplikacija; sedam do jedanaest opravdano je za kritične odluke gdje greška košta daleko više od nekoliko dodatnih poziva. Međutim, prava dobit dolazi od načina na koji koristiš rezultat pouzdanosti, a ne od broja uzoraka. Ispod 60%, smatraj da nema konsenzusa i eskaliraj proces – bilo ljudskom operateru ili snažnijem modelu s više uzoraka, kako je prikazano u nastavku.
result = self_consistency(question, system, n=5)
if result["confidence"] < 0.6:
# Nema jasnog konsenzusa, eskaliraj
result = self_consistency(question, system, n=9, model="gpt-5.6-sol")
Preostalo je pitanje isplati li se trud u tvom specifičnom slučaju, a to se mora izmjeriti, a ne pretpostaviti. Implementiraj asinkronu verziju, pokreni je na desetak pitanja za klasifikaciju sentimenta za koja znaš očekivani odgovor, zatim usporedi točnost dobivenu jednim pozivom naspram pet poziva. Brojka koju dobiješ riješit će pitanje opterećenja za tvoj specifičan slučaj, što nikakva opća preporuka ne može učiniti umjesto tebe.
Ključne točke
- Samokonzistentnost generira više odgovora i glasuje za najbolji
- Koristi temperaturu > 0 za postizanje raznolikosti
- Učinkovita za zadatke s diskretnim odgovorom (klasifikacija, izračun)
- Beskorisna za kreativne zadatke bez jednog točnog odgovora
- Paraleliziraj pozive s asyncio kako bi ograničio latenciju