Ottimizzazzjoni end-to-end: mill-prompt għan-netwerk
F'din il-paġna
Lezzjoni aġġornata fit-3 ta’ Novembru 2026 abbażi tad-dokumentazzjoni ta’ OpenAI:
temperatureutop_phuma aċċettati biss b’sforz ta’ raġunar ta’none, filwaqt li l-mudelli GPT-5.6 jirraġunaw b’mod awtomatiku (medium). Għalhekk, is-sejħiet li jistabbilixxu dawn il-parametri għandhom jispeċifikawreasoning={"effort": "none"}(Responses API) jewreasoning_effort="none"(Chat Completions). Sorsi: Using GPT-6 · GPT-5.6 Terra.
L-ottimizzazzjoni hija sistema, mhux parametru
It-tnaqqis tal-latency u l-ispejjeż għal applikazzjoni LLM ma jiddependix sempliċiment fuq l-għażla ta’ mudell aktar mgħaġġel. Hija katina ta’ ottimizzazzjonijiet li testendi mill-prompt sal-konfigurazzjoni tan-netwerk, fejn l-aktar anqas waħda effiċjenti tiddetta l-prestazzjoni tal-bqija. Tim li jnaqqas bin-nofs id-daqs tas-sistema tiegħu tal-prompt iżda jħalli s-server tiegħu jiftaħ konnessjoni TLS ġdida għal kull talba, se jitlif fil-latenza tan-netwerk dak li ffranka fit-tokens.
L-ordni li biha tittratta dawn il-levers hija importanti. Ibda bil-prompt għax jaffettwa kemm l-ispiża kif ukoll il-latency mingħajr ma teħtieġ bidliet fl-infrastruttura. Wara jiġu l-parametri tal-API, imbagħad il-konfigurazzjoni tan-netwerk, u fl-aħħar il-mod kif l-applikazzjoni tiegħek tikkonsma r-risposta. Din il-lezzjoni tgħidlek kif tuża kull lever f’dak l-ordni.
Ottimizza l-prompt
Kull token tad-dħul jispiża ħin u flus, u l-biċċa l-kbira tal-prompts tal-produzzjoni iġorru piż żejjed mill-fażi tal-prototipar tagħhom: struzzjonijiet miżjuda wieħed wara l-ieħor, kull waħda terġa’ tfisser dik ta’ qabilha. L-ewwel rifless tiegħek għandu jkun li terġa’ tikteb il-prompt b’mod dens, tneħħi forom ta’ indirizzar u ripetizzjonijiet mingħajr ma tmiss il-vincoli reali trażmessi lill-mudell.
# ❌ Prompt verbuż
prompt_long = """
Int assistent espert għall-analiżi finanzjarja. Trid dejjem
tirrispondi b'mod professjonali u strutturat. Trid tuża
data numerika meta possibbli. Trid tevita ġargon mhux meħtieġ.
Trid tkun konċiż iżda sħiħ.
Analiża r-rapport trimestrali li ġej: ...
"""
# ✅ Prompt ottimizzat (l-istess riżultat, inqas tokens)
prompt_court = """Rwol: Analiżista finanzjarju senior.
Vincoli: Strutturati, numeriċi, konċiżi.
Kompitu: Analiża dan ir-rapport trimestrali: ..."""
Iż-żewġ verżjonijiet jittrażmettu eżattament l-istess ħames vincoli; it-tieni waħda tagħmel dan mingħajr il-ħames frażijiet “Trid” li ma jżidux xejn għall-mudell. Fuq servizz li jipproċessa għaxart elef rapport kuljum, din il-kitba mill-ġdid ta’ tletin sekonda tħallas lilha nnifisha kuljum.
Agħżel il-mudell it-tajjeb għall-kompitu
It-tieni lever jiddependi fuq il-fatt li mhux kull sejħa teħtieġ l-istess mudell. Ir-rottaġġ ta’ kompitu ta’ estrazzjoni ta’ qasam lejn mudell b’raġunar għoli tfisser li tħallas għal kapaċità li l-kompitu ma jużax u tistenna aktar għal riżultat identiku.
| Tip ta’ kompitu | Mudell rakkomandat | Raġuni |
|---|---|---|
| Klassifikazzjoni / estrazzjoni | gpt-5.6-luna | Mgħaġġel, ekonomiku |
| Raġunar kumpless | gpt-5.6-terra b’raġunar medju | L-aqwa proporzjon kwalità/ispiża |
| Kompiti kritiċi | gpt-5.6-sol b’raġunar għoli | L-ogħla kwalità, aktar bil-mod |
| Volum għoli | gpt-5.6-luna permezz tal-Batch API | -50% spiża |
Fil-prattika, ikkodifika din l-għażla f’funzjoni ta’ rottaġġ minflok ma tħalliha għad-diskrezzjoni tal-iżviluppaturi; inkella, il-mudell predefinit jirbaħ dejjem:
import openai
client = openai.OpenAI()
def route_model(task: str, complexity: str) -> str:
"""Jagħżel il-mudell ottimali abbażi tal-kompitu."""
if complexity == "low":
return "gpt-5.6-luna"
elif task in ("reasoning", "math", "code"):
return "gpt-5.6-terra"
elif complexity == "critical":
return "gpt-5.6-sol"
return "gpt-5.6-terra"
def optimized_call(prompt: str, task: str, complexity: str) -> str:
model = route_model(task, complexity)
response = client.responses.create(
model=model,
input=prompt,
)
return response.output_text
Ottimizza l-parametri tal-API
Risposta li hija twila wisq tiħli ħin ta’ ġenerazzjoni li ħadd ma se jaqra. Dejjem speċifika max_output_tokens: dan huwa limitu iebsor li jipproteġi kemm il-kont tiegħek kif ukoll l-interfaċċa tiegħek, u jipprevjeni prompt ifformulat ħażin milli jidħol f’digressjoni ta’ elfejn kelma.
response = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # it-temperature teħtieġ sforz none
input="Agħmel sommarju ta' dan it-test f'sentenza waħda.",
max_output_tokens=100, # Limitu iebsor
temperature=0.0, # Deterministiku = aktar mgħaġġel
)
Il-parametri ta’ kampjunar jaħdmu fl-istess direzzjoni. Li tistabbilixxi temperature=0 jagħmel ir-risposti deterministiċi u ftit aktar mgħaġġla, li huwa eżattament dak li trid għal kompiti ta’ estrazzjoni jew klassifikazzjoni fejn il-kreattività hija sors ta’ varjanza, mhux assi. It-tnaqqis ta’ top_p għal 0.1 jirrestrinġi l-ispazju ta’ tfittxija u jħaffef il-ġenerazzjoni; irriżerva din l-impostazzjoni għal kompiti fejn hija aċċettabbli biss formulazzjoni waħda, u żomm il-valuri predefiniti fejn ir-rikkezza tar-risposta hija parti mill-prodott.
Ottimizza n-netwerk
L-ispejjeż tal-ivvjaġġar tal-pakketti jiżdiedu fuq kull sejħa, madankollu jibqgħu inviżibbli fil-metriċi tal-applikazzjoni tiegħek. L-API ta’ OpenAI hija ospitata primarjament fil-Lvant tal-Istati Uniti: li tpoġġi s-server tal-applikazzjoni tiegħek fl-istess reġjun bħall-endpoint jista’ jwassal għal qligħ potenzjali ta’ 50 sa 150 millisekonda fil-latency tan-netwerk. Għal applikazzjoni konversazzjonali, din hija frazzjoni sinifikanti tal-Ħin għall-Ewwel Token (TTFT).
It-tieni qligħ jiġi mill-użu mill-ġdid tal-konnessjoni. Mingħajr pool, kull talba terġa’ tagħmel l-handshake TLS, u żżid diversi vjaġġi qabel ma jibda jgħaddi kwalunkwe data utli. Il-konfigurazzjoni ta’ klijent HTTP darba għal dejjem issolvi dan:
import httpx
# Klijent b'pool ta' konnessjonijiet persistenti
client_http = httpx.Client(
base_url="https://api.openai.com/v1",
timeout=60.0,
limits=httpx.Limits(
max_connections=20,
max_keepalive_connections=10,
),
)
Ottimizza l-post-ipproċessar
L-aħħar anqas spiss tkun dik li n-nies jinsew: applikazzjoni li tirċievi risposta streaming iżda tistenna sal-aħħar biex turiha tannulla l-benefiċċji kollha tal-istreaming. Ipproċessa r-risposta hekk kif tiġi minflok wara r-riċeviment sħiħ.
async def progressive_processing(prompt: str):
"""Tipproċessa kull biċċa hekk kif tasal."""
stream = client.responses.create(
model="gpt-5.6-terra",
input=prompt,
stream=True,
)
buffer = ""
for event in stream:
if event.type == "response.output_text.delta":
buffer += event.delta
# Ipproċessa b'sentenza sħiħa
if buffer.endswith((".", "!", "?")):
yield buffer.strip()
buffer = ""
Id-diviżjoni b’sentenza sħiħa hija kompromess deliberat: l-emissjoni ta’ kull token tipproduċi wiri mhux stabbli, filwaqt li l-istennija għall-paragrafu sħiħ terġa’ toħloq is-sensazzjoni ta’ stennija. Is-sentenza hija l-unità li l-qarrejja jikkunsmaw naturalment. Uża mill-ġdid dan il-mudell kull meta l-interfaċċa tiegħek teħtieġ li turi, taqra b’leħen għoli, jew tistreamma dak li jipproduċi l-mudell.
Punti Ewlenin
- Ottimizza l-prompt l-ewwel: inqas tokens = inqas latency u spiża
- Irrotta lejn il-mudell it-tajjeb abbażi tal-kumplessità tal-kompitu
- Illimita
max_output_tokensu użatemperature=0meta possibbli - Uża mill-ġdid il-konnessjonijiet HTTP u pproċessa r-risposti permezz tal-istreaming