Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Ottimizzazzjoni end-to-end: mill-prompt għan-netwerk

Lezzjoni 2 / 20 Aġġornat 3 ta’ Novembru 2026 Avvanzat
F'din il-paġna
  1. L-ottimizzazzjoni hija sistema, mhux parametru
  2. Ottimizza l-prompt
  3. Ottimizza l-parametri tal-API
  4. Ottimizza n-netwerk
  5. Ottimizza l-post-ipproċessar
  6. Punti Ewlenin

Lezzjoni aġġornata fit-3 ta’ Novembru 2026 abbażi tad-dokumentazzjoni ta’ OpenAI: temperature u top_p huma aċċettati biss b’sforz ta’ raġunar ta’ none, filwaqt li l-mudelli GPT-5.6 jirraġunaw b’mod awtomatiku (medium). Għalhekk, is-sejħiet li jistabbilixxu dawn il-parametri għandhom jispeċifikaw reasoning={"effort": "none"} (Responses API) jew reasoning_effort="none" (Chat Completions). Sorsi: Using GPT-6 · GPT-5.6 Terra.

L-ottimizzazzjoni hija sistema, mhux parametru

It-tnaqqis tal-latency u l-ispejjeż għal applikazzjoni LLM ma jiddependix sempliċiment fuq l-għażla ta’ mudell aktar mgħaġġel. Hija katina ta’ ottimizzazzjonijiet li testendi mill-prompt sal-konfigurazzjoni tan-netwerk, fejn l-aktar anqas waħda effiċjenti tiddetta l-prestazzjoni tal-bqija. Tim li jnaqqas bin-nofs id-daqs tas-sistema tiegħu tal-prompt iżda jħalli s-server tiegħu jiftaħ konnessjoni TLS ġdida għal kull talba, se jitlif fil-latenza tan-netwerk dak li ffranka fit-tokens.

L-ordni li biha tittratta dawn il-levers hija importanti. Ibda bil-prompt għax jaffettwa kemm l-ispiża kif ukoll il-latency mingħajr ma teħtieġ bidliet fl-infrastruttura. Wara jiġu l-parametri tal-API, imbagħad il-konfigurazzjoni tan-netwerk, u fl-aħħar il-mod kif l-applikazzjoni tiegħek tikkonsma r-risposta. Din il-lezzjoni tgħidlek kif tuża kull lever f’dak l-ordni.

Ottimizza l-prompt

Kull token tad-dħul jispiża ħin u flus, u l-biċċa l-kbira tal-prompts tal-produzzjoni iġorru piż żejjed mill-fażi tal-prototipar tagħhom: struzzjonijiet miżjuda wieħed wara l-ieħor, kull waħda terġa’ tfisser dik ta’ qabilha. L-ewwel rifless tiegħek għandu jkun li terġa’ tikteb il-prompt b’mod dens, tneħħi forom ta’ indirizzar u ripetizzjonijiet mingħajr ma tmiss il-vincoli reali trażmessi lill-mudell.

# ❌ Prompt verbuż
prompt_long = """
Int assistent espert għall-analiżi finanzjarja. Trid dejjem
tirrispondi b'mod professjonali u strutturat. Trid tuża
data numerika meta possibbli. Trid tevita ġargon mhux meħtieġ.
Trid tkun konċiż iżda sħiħ.
Analiża r-rapport trimestrali li ġej: ...
"""

# ✅ Prompt ottimizzat (l-istess riżultat, inqas tokens)
prompt_court = """Rwol: Analiżista finanzjarju senior.
Vincoli: Strutturati, numeriċi, konċiżi.
Kompitu: Analiża dan ir-rapport trimestrali: ..."""

Iż-żewġ verżjonijiet jittrażmettu eżattament l-istess ħames vincoli; it-tieni waħda tagħmel dan mingħajr il-ħames frażijiet “Trid” li ma jżidux xejn għall-mudell. Fuq servizz li jipproċessa għaxart elef rapport kuljum, din il-kitba mill-ġdid ta’ tletin sekonda tħallas lilha nnifisha kuljum.

Agħżel il-mudell it-tajjeb għall-kompitu

It-tieni lever jiddependi fuq il-fatt li mhux kull sejħa teħtieġ l-istess mudell. Ir-rottaġġ ta’ kompitu ta’ estrazzjoni ta’ qasam lejn mudell b’raġunar għoli tfisser li tħallas għal kapaċità li l-kompitu ma jużax u tistenna aktar għal riżultat identiku.

Tip ta’ kompituMudell rakkomandatRaġuni
Klassifikazzjoni / estrazzjonigpt-5.6-lunaMgħaġġel, ekonomiku
Raġunar kumplessgpt-5.6-terra b’raġunar medjuL-aqwa proporzjon kwalità/ispiża
Kompiti kritiċigpt-5.6-sol b’raġunar għoliL-ogħla kwalità, aktar bil-mod
Volum għoligpt-5.6-luna permezz tal-Batch API-50% spiża

Fil-prattika, ikkodifika din l-għażla f’funzjoni ta’ rottaġġ minflok ma tħalliha għad-diskrezzjoni tal-iżviluppaturi; inkella, il-mudell predefinit jirbaħ dejjem:

import openai

client = openai.OpenAI()

def route_model(task: str, complexity: str) -> str:
    """Jagħżel il-mudell ottimali abbażi tal-kompitu."""
    if complexity == "low":
        return "gpt-5.6-luna"
    elif task in ("reasoning", "math", "code"):
        return "gpt-5.6-terra"
    elif complexity == "critical":
        return "gpt-5.6-sol"
    return "gpt-5.6-terra"

def optimized_call(prompt: str, task: str, complexity: str) -> str:
    model = route_model(task, complexity)
    response = client.responses.create(
        model=model,
        input=prompt,
    )
    return response.output_text

Ottimizza l-parametri tal-API

Risposta li hija twila wisq tiħli ħin ta’ ġenerazzjoni li ħadd ma se jaqra. Dejjem speċifika max_output_tokens: dan huwa limitu iebsor li jipproteġi kemm il-kont tiegħek kif ukoll l-interfaċċa tiegħek, u jipprevjeni prompt ifformulat ħażin milli jidħol f’digressjoni ta’ elfejn kelma.

response = client.responses.create(
    model="gpt-5.6-terra",
    reasoning={"effort": "none"},  # it-temperature teħtieġ sforz none
    input="Agħmel sommarju ta' dan it-test f'sentenza waħda.",
    max_output_tokens=100,  # Limitu iebsor
    temperature=0.0,         # Deterministiku = aktar mgħaġġel
)

Il-parametri ta’ kampjunar jaħdmu fl-istess direzzjoni. Li tistabbilixxi temperature=0 jagħmel ir-risposti deterministiċi u ftit aktar mgħaġġla, li huwa eżattament dak li trid għal kompiti ta’ estrazzjoni jew klassifikazzjoni fejn il-kreattività hija sors ta’ varjanza, mhux assi. It-tnaqqis ta’ top_p għal 0.1 jirrestrinġi l-ispazju ta’ tfittxija u jħaffef il-ġenerazzjoni; irriżerva din l-impostazzjoni għal kompiti fejn hija aċċettabbli biss formulazzjoni waħda, u żomm il-valuri predefiniti fejn ir-rikkezza tar-risposta hija parti mill-prodott.

Ottimizza n-netwerk

L-ispejjeż tal-ivvjaġġar tal-pakketti jiżdiedu fuq kull sejħa, madankollu jibqgħu inviżibbli fil-metriċi tal-applikazzjoni tiegħek. L-API ta’ OpenAI hija ospitata primarjament fil-Lvant tal-Istati Uniti: li tpoġġi s-server tal-applikazzjoni tiegħek fl-istess reġjun bħall-endpoint jista’ jwassal għal qligħ potenzjali ta’ 50 sa 150 millisekonda fil-latency tan-netwerk. Għal applikazzjoni konversazzjonali, din hija frazzjoni sinifikanti tal-Ħin għall-Ewwel Token (TTFT).

It-tieni qligħ jiġi mill-użu mill-ġdid tal-konnessjoni. Mingħajr pool, kull talba terġa’ tagħmel l-handshake TLS, u żżid diversi vjaġġi qabel ma jibda jgħaddi kwalunkwe data utli. Il-konfigurazzjoni ta’ klijent HTTP darba għal dejjem issolvi dan:

import httpx

# Klijent b'pool ta' konnessjonijiet persistenti
client_http = httpx.Client(
    base_url="https://api.openai.com/v1",
    timeout=60.0,
    limits=httpx.Limits(
        max_connections=20,
        max_keepalive_connections=10,
    ),
)

Ottimizza l-post-ipproċessar

L-aħħar anqas spiss tkun dik li n-nies jinsew: applikazzjoni li tirċievi risposta streaming iżda tistenna sal-aħħar biex turiha tannulla l-benefiċċji kollha tal-istreaming. Ipproċessa r-risposta hekk kif tiġi minflok wara r-riċeviment sħiħ.

async def progressive_processing(prompt: str):
    """Tipproċessa kull biċċa hekk kif tasal."""
    stream = client.responses.create(
        model="gpt-5.6-terra",
        input=prompt,
        stream=True,
    )

    buffer = ""
    for event in stream:
        if event.type == "response.output_text.delta":
            buffer += event.delta
            # Ipproċessa b'sentenza sħiħa
            if buffer.endswith((".", "!", "?")):
                yield buffer.strip()
                buffer = ""

Id-diviżjoni b’sentenza sħiħa hija kompromess deliberat: l-emissjoni ta’ kull token tipproduċi wiri mhux stabbli, filwaqt li l-istennija għall-paragrafu sħiħ terġa’ toħloq is-sensazzjoni ta’ stennija. Is-sentenza hija l-unità li l-qarrejja jikkunsmaw naturalment. Uża mill-ġdid dan il-mudell kull meta l-interfaċċa tiegħek teħtieġ li turi, taqra b’leħen għoli, jew tistreamma dak li jipproduċi l-mudell.

Punti Ewlenin

  • Ottimizza l-prompt l-ewwel: inqas tokens = inqas latency u spiża
  • Irrotta lejn il-mudell it-tajjeb abbażi tal-kumplessità tal-kompitu
  • Illimita max_output_tokens u uża temperature=0 meta possibbli
  • Uża mill-ġdid il-konnessjonijiet HTTP u pproċessa r-risposti permezz tal-istreaming