Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Il-Prestazzjoni fil-Produzzjoni

Lezzjoni 11 / 14 Aġġornat 29 ta’ Lulju 2026 Avvanzat
F'din il-paġna
  1. Lil Hinn mill-Cache: Il-Prestazzjoni Ġenerali
  2. Streaming: Tfaddil tal-Ħin Mingħajr Ma Tiffranka l-Ħin Verament
  3. L-Għażla tal-Mudell Tiegħek għall-Latenza
  4. L-Immaniġġjar ta’ Żbalji Mingħajr Ma Taggrava s-Sitwazzjoni
  5. Timeouts u Reżiljenza
  6. X’Għandek Tistrumenta
  7. Punti Ewlenin

Lil Hinn mill-Cache: Il-Prestazzjoni Ġenerali

Il-cache inaqqas l-ispejjeż, iżda l-integrazzjoni fil-produzzjoni tiddependi fuq aktar milli sempliċiment il-kont: il-latenza pperċepita mill-utent, it-throughput sostnut, l-affidabbiltà kontra żbalji tranżitorji, u l-kapaċità li tiddijanostika d-deterjorament. Applikazzjoni li tispiċċa ftit iżda tirrispondi fi 12-il sekonda jew tonqos darba minn kull 50 mhix waħda li taħdem sewwa. Din il-lezzjoni tkopri l-erba’ dimensjonijiet li jimpurtaw ladarba tkun irranġajt l-ispejjeż.

Streaming: Tfaddil tal-Ħin Mingħajr Ma Tiffranka l-Ħin Verament

Għal kwalunkwe interfaċċa fejn bniedem jistenna tweġiba, l-istreaming SSE (Server-Sent Events) ibiddel il-perċezzjoni b’mod radikali. Mingħajru, l-utent iħares lejn il-cursur waqt li l-mudell jiġġenera 500 token; miegħu, l-ewwel kliem jidher wara ftit mijiet ta’ millisekondi u l-qari jibda waqt il-ġenerazzjoni. Il-ħin totali huwa l-istess, iżda l-ħin ipperċepit jonqos b’fattur ta’ diversi drabi.

import requests
import json

def appel_streaming(messages, model="grok-4.20"):
    reponse = requests.post(
        "https://api.x.ai/v1/chat/completions",
        headers={
            "Authorization": f"Bearer {api_key}",
            "Content-Type": "application/json"
        },
        json={
            "model": model,
            "messages": messages,
            "stream": True
        },
        stream=True
    )

    for ligne in reponse.iter_lines():
        if ligne and ligne.startswith(b"data: "):
            donnees = ligne[6:]
            if donnees == b"[DONE]":
                break
            chunk = json.loads(donnees)
            token = chunk["choices"][0]["delta"].get("content", "")
            yield token

Il-parametru stream: True ma jbiddel la n-numru ta’ tokens iffatturati u lanqas ir-rata tagħhom. Dak li ttejjeb huwa t-TTFT—il-ħin għall-ewwel token. Innota li l-funzjoni hija ġeneratur: tirrendi l-kontroll token b’token, u jħallik tikseb direttament fir-risposta HTTP tas-server tiegħek mingħajr ma żżomm il-ġenerazzjoni kollha fil-memorja.

L-Għażla tal-Mudell Tiegħek għall-Latenza

It-tieni leva tal-latenza hija l-għażla tal-mudell, u tiddependi l-aktar fuq l-isforz tar-raġunament. Mudell tar-raġunament jipproduċi tokens tar-raġunament inviżibbli qabel ma jabbozza t-tweġiba tiegħu: il-kwalità titjieb, iżda d-dewmien jiżdied ukoll. Fl-estremitajiet, grok-build-0.1 huwa l-aktar wieħed mgħaġġel fil-katalgu, u jagħmluh adattat għal użi f’ħin reali bħall-klassifikazzjoni fuq it-titjira jew l-awtokompletament; grok-4.20-0309 fil-varjant mhux tar-raġunament u grok-4.3 joffru kompromess raġonevoli bejn il-kwalità u l-veloċità; grok-4.5 b’raġunament fond jinsab fit-tarf l-ieħor, riżervat għal kompiti li verament jeħtieġuh.

Il-konsegwenza prattika hija li ma tagħżilx mudell għal applikazzjoni, iżda għal pass. Mudell komuni huwa li jkollok sejħa inizjali mgħaġġla li tiddeċiedi—din it-talba hija trivjali, ambigwa, jew kumplessa?—imbagħad tibgħat biss il-frazzjoni ta’ każijiet li jiġġustifikawha lil mudell tar-raġunament. Taqsam kemm il-latenza medja kif ukoll l-ispiża medja mingħajr ma tiddeterjora l-każijiet diffiċli.

L-Immaniġġjar ta’ Żbalji Mingħajr Ma Taggrava s-Sitwazzjoni

Il-kodiċi 429 kopert fil-Lezzjoni 3 mhuwiex l-uniku wieħed li se tiltaqa’ miegħu. Id-distinzjoni ewlenija tinsab bejn żbalji li jistħoqqilhom tentattiv mill-ġdid u dawk fejn it-tentattiv mill-ġdid iżid biss traffiku mhux meħtieġ.

KodiċiNaturaAzzjoni
429 Too Many RequestsRekuperabbliBackoff esponenzjali (Lezzjoni 3)
500 Internal Server ErrorRekuperabbliErġa’ pprova b’backoff; l-iżball huwa fuq in-naħa tas-server
502 / 503 Service UnavailableRekuperabbliErġa’ pprova wara ftit sekondi
400 Bad RequestFinaliTalba ħażina; irranġa l-payload
401 UnauthorizedFinaliAPI key invalida jew skaduta
413 Payload Too LargeFinaliIl-prompt jaqbeż il-limitu tal-kuntest

Tista’ tikkodifika din ir-regola fi tliet linji, u tiswa li tiġi iżolata f’funzjoni minflok ma tferrex stqarrijiet if kullimkien:

def classifier_erreur(status_code):
    recuperable = {429, 500, 502, 503}
    return status_code in recuperable

Timeouts u Reżiljenza

Timeout stabbilit ħażin joħloq żewġ kwistjonijiet opposti: jekk huwa qasir wisq, j abbanduna talbiet li kienu jirnexxu; jekk huwa twil wisq, jimblokka l-ħaddiema tiegħek waqt li t-tul tal-queue jiżdied. Iffissa tlieta separatament. Il-konnessjoni trid tiġi stabbilita fi 10 sekondi; lil hinn minn hekk, il-problema hija n-netwerk. Il-qari f’modalità mhux streaming jiskala mal-mudell: 120 sekonda għal mudell tar-raġunament, 60 sekonda għal grok-build-0.1. Fl-istreaming, il-limitu rilevanti mhuwiex id-durata totali iżda l-intervall bejn iċ-chunks, stabbilit madwar 30 sekonda.

Punt wieħed jixraqlu kawtela reali: meta jiskadi timeout fuq ġenerazzjoni twila, terġax tibda awtomatikament. Il-mudell jista’ diġà kkonsma tokens tar-raġunament li se tħallas għalihom għat-tieni darba, u xejn ma jiggarantixxi li l-ewwel talba ma rnexxitx fuq in-naħa tas-server. Mekaniżmu ta’ idempotenza—ċavetta tat-talba li żżomm biex tirrikonoxxi duplikat—jew resum esplicitu jaħdem aħjar minn tentattiv blind mill-ġdid.

X’Għandek Tistrumenta

Erba’ familji ta’ metriċi biżżejjed biex tiddijanostika l-biċċa l-kbira tal-inċidenti.

MetrikaX’TikxefMira
TTFTLatenza inizjali pperċepitaImmonitorja għal kull mudell
Rata ta’ SuċċessAffidabbiltà tal-integrazzjoniAkbar minn 99.5%
Rata tal-CacheKwalità tal-istruttura tal-promptAkbar minn 50%
Spiża għal Kull TalbaDevjazzjoni tal-baġit, medja li ddurStabbli maż-żmien

Żid il-latenza fil-perċentil 95. Il-medja dejjem taħbi każijiet estremi, u dawk huma li jikkawżaw tickets ta’ appoġġ: P95 ta’ 8 sekondi tfisser li utent wieħed minn kull 20 jistenna 8 sekondi, li l-ebda medja ta’ 1.2 sekonda ma tikxef.

Punti Ewlenin

  • L-istreaming SSE jnaqqas il-latenza pperċepita mingħajr ma jaffettwa l-ispiża
  • Agħżel mudell mgħaġġel għal ħin reali u mudell tar-raġunament għall-kwalità
  • Agħmel distinzjoni bejn żbalji rekuperabbli (429, 500, 502/503) u żbalji finali (400, 401)
  • Ikkonfigura timeouts adattati għall-mudell użat
  • Immonitorja t-TTFT, ir-rata ta’ suċċess, ir-rata tal-cache, u l-ispiża medja għal kull talba