Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Konsistenza awto: Ħafna mogħdijiet ta' raġunament

Lezzjoni 6 / 16 Aġġornat 3 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Konsistenza awto: Ħafna mogħdijiet ta’ raġunament
  2. Il-problema li ssolvi
  3. Implimentazzjoni bażika
  4. X’jgħidlek il-vot
  5. Verżjoni parallela b’asyncio
  6. Meta tuża l-konsistenza awto
  7. Aġġustar tar-raġġun Spiża/Affidabbiltà
  8. Punti Ewlenin

Lezzjoni aġġornata fit-3 ta’ Novembru 2026 abbażi tad-dokumentazzjoni ta’ OpenAI: temperature u top_p huma aċċettati biss b’sforz ta’ raġunament ta’ none, filwaqt li l-mudelli GPT-5.6 jirraġunaw b’mod awtomatiku (medium). Għalhekk, is-sejħiet li jistabbilixxu dawn il-parametri jridu jispeċifikaw reasoning={"effort": "none"} (Responses API) jew reasoning_effort="none" (Chat Completions). Sorsi: L-użu ta’ GPT-6 · GPT-5.6 Terra.

Konsistenza awto: Ħafna mogħdijiet ta’ raġunament

Il-konsistenza awto tinvolvi l-ġenerazzjoni ta’ diversi tweġibiet indipendenti għall-istess prompt, u mbagħad l-għażla ta’ dik l-aktar frekwenti jew koerenti. Il-prinċipju huwa l-votazzjoni: sejħa waħda tesponik għaċ-ċans ta’ għażla ħażina, filwaqt li ħames sejħiet jagħtuk distribuzzjoni li tista’ tikkonsulta. Din it-teknika ttejjeb b’mod sinifikanti l-affidabbiltà tar-risponsi, speċjalment għal kompiti ta’ raġunament loġiku u matematika.

Il-problema li ssolvi

LLM jista’ jagħti tweġiba differenti f’kull sejħa, anke b’prompt identiku strettament. Uħud minn dawn it-tweġibiet huma korretti, oħrajn le, u xejn fl-output ma jindika liema qed taqra: tweġiba ħażina tiġi ddikjarata bl-istess kunfidenza bħal waħda tajba. Il-konsistenza awto ddawwar din il-varjabbiltà għall-vantaġġ tiegħek. Jekk il-mudell jasal għall-istess konklużjoni permezz ta’ diversi mogħdijiet ta’ raġunament differenti, dik il-konklużjoni x’aktarx li hija korretta; kuntrarjament, żball rari jirriproduċi ruħu bl-istess mod minn għażla għal oħra għax jiddependi eżattament fuq il-mogħdija meħuda.

Implimentazzjoni bażika

Il-mekkaniżmu għandu tliet passi: iġġenera, estrai t-tweġiba finali, ivvota. Il-markatur >>> ANSWER: infurzat fl-istruzzjonijiet mhuwiex kosmetiku—huwa dak li jagħmel l-output parsejabbli mingħajr ma jkollok tinterpreta r-raġunament li jippreċedih. Mingħajr din l-ankra, ikollok tikteb ewristika fraġli biex tiggaġġja fejn tintemm ir-riflessjoni u tibda l-konklużjoni.

from openai import OpenAI
from collections import Counter

client = OpenAI()

def self_consistency(prompt: str, system: str = "",
                     n: int = 5, model: str = "gpt-5.6-terra") -> dict:
    """Tiġġenera n tweġibiet u tirritorna l-aktar waħda frekwenti."""
    responses = []

    for _ in range(n):
        response = client.responses.create(
            model=model,
            reasoning={"effort": "none"},  # temperature requires effort none
            instructions=system + "\nReason step by step, then give "
                         "your final answer after '>>> ANSWER:'",
            input=prompt,
            temperature=0.7  # Temperature > 0 for diversity
        )
        responses.append(response.output_text)

    # Estrai t-tweġibiet finali
    answers = []
    for r in responses:
        if ">>> ANSWER:" in r:
            answer = r.split(">>> ANSWER:")[-1].strip()
            answers.append(answer)

    # Votazzjoni tal-maġġoranza
    if answers:
        counter = Counter(answers)
        best_answer, count = counter.most_common(1)[0]
        return {
            "answer": best_answer,
            "confidence": count / len(answers),
            "all_answers": dict(counter),
            "total_responses": len(answers)
        }
    return {"answer": None, "confidence": 0}

X’jgħidlek il-vot

Meta tiġi applikata għall-klassifikazzjoni tas-sentiment, il-funzjoni tirritorna mhux biss tikketta iżda distribuzzjoni, u dik id-distribuzzjoni spiss tkun aktar prezzjuża mit-tikketta nnifisha. Għar-reviżjoni hawn taħt, li hija ġenwinament ambigwa—il-prodott huwa tajjeb, iżda l-konsenja kienet diżastruża—erba’ sejħiet ivvutaw “negattiv” u tlieta vvutaw “newtrali”. Il-kunfidenza ta’ 57% tgħidlek li dan il-każ jista’ jistħoqqilu trattament speċjali: tqiegħed f’kju għal reviżjoni umana, talab kjarifika lill-utent, jew sempliċiment eskluđieh mill-istatistika aggregata. Sejħa waħda kienet turi “negattiv” mingħajr sfumatura, u kont tittratta dan it-ticket eżattament bħal reviżjoni mimlija rabja unanimament.

system = """You are a sentiment classifier.
Analyze the text and reason step by step.
Give your final answer after '>>> ANSWER:' choosing from:
positive, negative, neutral"""

text = "The product is fine but the delivery took 3 weeks."

result = self_consistency(text, system, n=7)
print(f"Sentiment: {result['answer']}")
print(f"Confidence: {result['confidence']:.0%}")
print(f"Distribution: {result['all_answers']}")
# Eżempju ta' output:
# Sentiment: negative
# Confidence: 57%
# Distribution: {'negative': 4, 'neutral': 3}

Verżjoni parallela b’asyncio

L-ispiża ta’ din it-teknika mhix biss finanzjarja: ħames sejħiet sekwenzzjali jfissru wkoll ħames darbiet il-latency, li jeskludi l-approċċ f’kull interfaċċa fejn xi ħadd qed jistenna quddiem l-iskrin tiegħu. Madankollu, is-sejħiet huma perfettament indipendenti; m’hemm l-ebda ġustifikazzjoni biex tistennihom wieħed wara l-ieħor. asyncio.gather iġib il-ħin totali ‘l isal għal dak tal-aktar sejħa bil-mod, u jagħmel il-konsistenza awto kompatibbli mal-użu online, b’overhead li jsir purament monetarju.

import asyncio
from openai import AsyncOpenAI

async_client = AsyncOpenAI()

async def self_consistency_async(prompt: str, system: str = "",
                                  n: int = 5) -> dict:
    """Verżjoni asinkrona tal-konsistenza awto."""

    async def single_call():
        response = await async_client.responses.create(
            model="gpt-5.6-terra",
            reasoning={"effort": "none"},  # temperature requires effort none
            instructions=system + "\nReason then give your answer "
                         "after '>>> ANSWER:'",
            input=prompt,
            temperature=0.7
        )
        return response.output_text

    # Nedda s-sejħiet kollha b'mod parallel
    tasks = [single_call() for _ in range(n)]
    results = await asyncio.gather(*tasks)

    # Estrai u vvota
    answers = []
    for r in results:
        if ">>> ANSWER:" in r:
            answers.append(r.split(">>> ANSWER:")[-1].strip())

    counter = Counter(answers)
    best, count = counter.most_common(1)[0] if answers else (None, 0)

    return {
        "answer": best,
        "confidence": count / len(answers) if answers else 0,
        "distribution": dict(counter)
    }

Meta tuża l-konsistenza awto

Il-kriterju tad-deċiżjoni huwa sempliċi biex jingħad: il-votazzjoni tagħmel sens biss jekk it-tweġiba hija diskreta u tista’ titqabbel. Żewġ sommarji miktuba sew ma jistgħux jingħaddu, peress li qatt ma jkunu identiċi karattru b’karattru; żewġ tikketta ta’ kategorija jistgħu.

Każ ta' Użu Utili? Għaliex
Klassifikazzjoni Iva Tweġiba diskreta, vot sempliċi
Raġunament Matematiku Iva Ħafna mogħdijiet lejn it-tweġiba korretta
Estrazzjoni ta' Entitajiet Iva Kunsens fuq l-entitajiet skoperti
Kitta Kreattiva Le L-ebda tweġiba "korretta" waħda
Sommarju tat-Test Parzjali Utili għal fatti ewlenin, mhux għall-istil

Aġġustar tar-raġġun Spiża/Affidabbiltà

Tliet sejħiet huma n-numru minimu vijabbli biex vot tal-maġġoranza jfisser xi ħaġa; ħames joffru l-aħjar kompromess għall-biċċa l-kbira tal-applikazzjonijiet; sebgħa sa ħdax huma ġġustifikati għal deċiżjonijiet kritiċi, fejn żball jiswi ħafna aktar minn ftit sejħiet ekstra. Madankollu, il-qligħ reali ġej minn kif tuża l-punteġġ tal-kunfidenza aktar milli mill-għadd tal-kampjuni. Taħt is-60%, iqis li m’hemm l-ebda kunsens u skala ‘l fuq, jew għal operatur uman jew għal mudell aktar qawwi b’aktar kampjuni, kif muri hawn taħt.

result = self_consistency(question, system, n=5)

if result["confidence"] < 0.6:
    # L-ebda kunsens ċar, skala 'l fuq
    result = self_consistency(question, system, n=9, model="gpt-5.6-sol")

Il-mistoqsija li fadal hija jekk il-ħlewwa tiswaqx l-isforz fil-każ speċifiku tiegħek, u dan irid jitkejjel, mhux jiġi preżunt. Implimenta l-verżjoni asinkrona, ġarriha fuq dożżina ta’ mistoqsijiet ta’ klassifikazzjoni tas-sentiment fejn tkun taf it-tweġiba mistennija, imbagħad qabbel l-preċiżjoni miksuba b’sejħa waħda kontra ħames sejħiet. Iċ-ċifra li tikseb issolvi l-mistoqsija tal-overhead għall-każ speċifiku tiegħek, xi ħaġa li l-ebda rakkomandazzjoni ġenerali ma tista’ tagħmel għalik.

Punti Ewlenin

  • Il-konsistenza awto tiġġenera tweġibiet multipli u tivvota għall-aħjar waħda
  • Uża temperatura > 0 biex tikseb diversità
  • Effettiva għal kompiti b’tweġiba diskreta (klassifikazzjoni, kalkolu)
  • Inutili għal kompiti kreattivi mingħajr tweġiba korretta waħda
  • Parallellizza s-sejħiet b’asyncio biex tillimita l-latency