Konsistenza awto: Ħafna mogħdijiet ta' raġunament
F'din il-paġna
Lezzjoni aġġornata fit-3 ta’ Novembru 2026 abbażi tad-dokumentazzjoni ta’ OpenAI:
temperatureutop_phuma aċċettati biss b’sforz ta’ raġunament ta’none, filwaqt li l-mudelli GPT-5.6 jirraġunaw b’mod awtomatiku (medium). Għalhekk, is-sejħiet li jistabbilixxu dawn il-parametri jridu jispeċifikawreasoning={"effort": "none"}(Responses API) jewreasoning_effort="none"(Chat Completions). Sorsi: L-użu ta’ GPT-6 · GPT-5.6 Terra.
Konsistenza awto: Ħafna mogħdijiet ta’ raġunament
Il-konsistenza awto tinvolvi l-ġenerazzjoni ta’ diversi tweġibiet indipendenti għall-istess prompt, u mbagħad l-għażla ta’ dik l-aktar frekwenti jew koerenti. Il-prinċipju huwa l-votazzjoni: sejħa waħda tesponik għaċ-ċans ta’ għażla ħażina, filwaqt li ħames sejħiet jagħtuk distribuzzjoni li tista’ tikkonsulta. Din it-teknika ttejjeb b’mod sinifikanti l-affidabbiltà tar-risponsi, speċjalment għal kompiti ta’ raġunament loġiku u matematika.
Il-problema li ssolvi
LLM jista’ jagħti tweġiba differenti f’kull sejħa, anke b’prompt identiku strettament. Uħud minn dawn it-tweġibiet huma korretti, oħrajn le, u xejn fl-output ma jindika liema qed taqra: tweġiba ħażina tiġi ddikjarata bl-istess kunfidenza bħal waħda tajba. Il-konsistenza awto ddawwar din il-varjabbiltà għall-vantaġġ tiegħek. Jekk il-mudell jasal għall-istess konklużjoni permezz ta’ diversi mogħdijiet ta’ raġunament differenti, dik il-konklużjoni x’aktarx li hija korretta; kuntrarjament, żball rari jirriproduċi ruħu bl-istess mod minn għażla għal oħra għax jiddependi eżattament fuq il-mogħdija meħuda.
Implimentazzjoni bażika
Il-mekkaniżmu għandu tliet passi: iġġenera, estrai t-tweġiba finali, ivvota. Il-markatur >>> ANSWER: infurzat fl-istruzzjonijiet mhuwiex kosmetiku—huwa dak li jagħmel l-output parsejabbli mingħajr ma jkollok tinterpreta r-raġunament li jippreċedih. Mingħajr din l-ankra, ikollok tikteb ewristika fraġli biex tiggaġġja fejn tintemm ir-riflessjoni u tibda l-konklużjoni.
from openai import OpenAI
from collections import Counter
client = OpenAI()
def self_consistency(prompt: str, system: str = "",
n: int = 5, model: str = "gpt-5.6-terra") -> dict:
"""Tiġġenera n tweġibiet u tirritorna l-aktar waħda frekwenti."""
responses = []
for _ in range(n):
response = client.responses.create(
model=model,
reasoning={"effort": "none"}, # temperature requires effort none
instructions=system + "\nReason step by step, then give "
"your final answer after '>>> ANSWER:'",
input=prompt,
temperature=0.7 # Temperature > 0 for diversity
)
responses.append(response.output_text)
# Estrai t-tweġibiet finali
answers = []
for r in responses:
if ">>> ANSWER:" in r:
answer = r.split(">>> ANSWER:")[-1].strip()
answers.append(answer)
# Votazzjoni tal-maġġoranza
if answers:
counter = Counter(answers)
best_answer, count = counter.most_common(1)[0]
return {
"answer": best_answer,
"confidence": count / len(answers),
"all_answers": dict(counter),
"total_responses": len(answers)
}
return {"answer": None, "confidence": 0}
X’jgħidlek il-vot
Meta tiġi applikata għall-klassifikazzjoni tas-sentiment, il-funzjoni tirritorna mhux biss tikketta iżda distribuzzjoni, u dik id-distribuzzjoni spiss tkun aktar prezzjuża mit-tikketta nnifisha. Għar-reviżjoni hawn taħt, li hija ġenwinament ambigwa—il-prodott huwa tajjeb, iżda l-konsenja kienet diżastruża—erba’ sejħiet ivvutaw “negattiv” u tlieta vvutaw “newtrali”. Il-kunfidenza ta’ 57% tgħidlek li dan il-każ jista’ jistħoqqilu trattament speċjali: tqiegħed f’kju għal reviżjoni umana, talab kjarifika lill-utent, jew sempliċiment eskluđieh mill-istatistika aggregata. Sejħa waħda kienet turi “negattiv” mingħajr sfumatura, u kont tittratta dan it-ticket eżattament bħal reviżjoni mimlija rabja unanimament.
system = """You are a sentiment classifier.
Analyze the text and reason step by step.
Give your final answer after '>>> ANSWER:' choosing from:
positive, negative, neutral"""
text = "The product is fine but the delivery took 3 weeks."
result = self_consistency(text, system, n=7)
print(f"Sentiment: {result['answer']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Distribution: {result['all_answers']}")
# Eżempju ta' output:
# Sentiment: negative
# Confidence: 57%
# Distribution: {'negative': 4, 'neutral': 3}
Verżjoni parallela b’asyncio
L-ispiża ta’ din it-teknika mhix biss finanzjarja: ħames sejħiet sekwenzzjali jfissru wkoll ħames darbiet il-latency, li jeskludi l-approċċ f’kull interfaċċa fejn xi ħadd qed jistenna quddiem l-iskrin tiegħu. Madankollu, is-sejħiet huma perfettament indipendenti; m’hemm l-ebda ġustifikazzjoni biex tistennihom wieħed wara l-ieħor. asyncio.gather iġib il-ħin totali ‘l isal għal dak tal-aktar sejħa bil-mod, u jagħmel il-konsistenza awto kompatibbli mal-użu online, b’overhead li jsir purament monetarju.
import asyncio
from openai import AsyncOpenAI
async_client = AsyncOpenAI()
async def self_consistency_async(prompt: str, system: str = "",
n: int = 5) -> dict:
"""Verżjoni asinkrona tal-konsistenza awto."""
async def single_call():
response = await async_client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature requires effort none
instructions=system + "\nReason then give your answer "
"after '>>> ANSWER:'",
input=prompt,
temperature=0.7
)
return response.output_text
# Nedda s-sejħiet kollha b'mod parallel
tasks = [single_call() for _ in range(n)]
results = await asyncio.gather(*tasks)
# Estrai u vvota
answers = []
for r in results:
if ">>> ANSWER:" in r:
answers.append(r.split(">>> ANSWER:")[-1].strip())
counter = Counter(answers)
best, count = counter.most_common(1)[0] if answers else (None, 0)
return {
"answer": best,
"confidence": count / len(answers) if answers else 0,
"distribution": dict(counter)
}
Meta tuża l-konsistenza awto
Il-kriterju tad-deċiżjoni huwa sempliċi biex jingħad: il-votazzjoni tagħmel sens biss jekk it-tweġiba hija diskreta u tista’ titqabbel. Żewġ sommarji miktuba sew ma jistgħux jingħaddu, peress li qatt ma jkunu identiċi karattru b’karattru; żewġ tikketta ta’ kategorija jistgħu.
| Każ ta' Użu | Utili? | Għaliex |
|---|---|---|
| Klassifikazzjoni | Iva | Tweġiba diskreta, vot sempliċi |
| Raġunament Matematiku | Iva | Ħafna mogħdijiet lejn it-tweġiba korretta |
| Estrazzjoni ta' Entitajiet | Iva | Kunsens fuq l-entitajiet skoperti |
| Kitta Kreattiva | Le | L-ebda tweġiba "korretta" waħda |
| Sommarju tat-Test | Parzjali | Utili għal fatti ewlenin, mhux għall-istil |
Aġġustar tar-raġġun Spiża/Affidabbiltà
Tliet sejħiet huma n-numru minimu vijabbli biex vot tal-maġġoranza jfisser xi ħaġa; ħames joffru l-aħjar kompromess għall-biċċa l-kbira tal-applikazzjonijiet; sebgħa sa ħdax huma ġġustifikati għal deċiżjonijiet kritiċi, fejn żball jiswi ħafna aktar minn ftit sejħiet ekstra. Madankollu, il-qligħ reali ġej minn kif tuża l-punteġġ tal-kunfidenza aktar milli mill-għadd tal-kampjuni. Taħt is-60%, iqis li m’hemm l-ebda kunsens u skala ‘l fuq, jew għal operatur uman jew għal mudell aktar qawwi b’aktar kampjuni, kif muri hawn taħt.
result = self_consistency(question, system, n=5)
if result["confidence"] < 0.6:
# L-ebda kunsens ċar, skala 'l fuq
result = self_consistency(question, system, n=9, model="gpt-5.6-sol")
Il-mistoqsija li fadal hija jekk il-ħlewwa tiswaqx l-isforz fil-każ speċifiku tiegħek, u dan irid jitkejjel, mhux jiġi preżunt. Implimenta l-verżjoni asinkrona, ġarriha fuq dożżina ta’ mistoqsijiet ta’ klassifikazzjoni tas-sentiment fejn tkun taf it-tweġiba mistennija, imbagħad qabbel l-preċiżjoni miksuba b’sejħa waħda kontra ħames sejħiet. Iċ-ċifra li tikseb issolvi l-mistoqsija tal-overhead għall-każ speċifiku tiegħek, xi ħaġa li l-ebda rakkomandazzjoni ġenerali ma tista’ tagħmel għalik.
Punti Ewlenin
- Il-konsistenza awto tiġġenera tweġibiet multipli u tivvota għall-aħjar waħda
- Uża temperatura > 0 biex tikseb diversità
- Effettiva għal kompiti b’tweġiba diskreta (klassifikazzjoni, kalkolu)
- Inutili għal kompiti kreattivi mingħajr tweġiba korretta waħda
- Parallellizza s-sejħiet b’asyncio biex tillimita l-latency