Anti-Mudelli tal-API
F'din il-paġna
- Żbalji li Jiswa Flus fil-Produzzjoni
- It-Trattament ta’ Tweġiba Mqatgħa bħala Sħiħa
- Il-Ħalli tal-Istorja tal-Konversazzjoni Tikber Mingħajr Limiti
- Is-Suppożizzjoni li n-Netwerk Dejjem Iwieġeb
- It-Talba lill-Mudell biex Jagħmel Dak li Ma Jistax Jagħmel
- Id-Distribuzzjoni Mingħajr Ma Tħalli Traċċa
- Rutina ta’ Debugging
- Punti Ewlenin
Żbalji li Jiswa Flus fil-Produzzjoni
Wara li koprejna l-aħjar prattiki, wasal iż-żmien li nħarsu lejn in-naħa l-oħra. L-anti-mudelli hawn taħt huma l-iżbalji l-aktar komuni meta tuża l-API tal-Chat Completions, u għandhom karatteristika waħda spijaċevoli: ma jidhrux waqt l-iżvilupp. Minn għaxar talbiet ta’ test, kollox jaħdem sew. Huwa fil-produzzjoni li jisplodu, u jikkawżaw spejjeż mhux mistennija, tweġibiet inkoerenti, latenza għolja, jew agħar—tnixxija ta’ data sensittiva.
It-Trattament ta’ Tweġiba Mqatgħa bħala Sħiħa
L-iżball l-aktar komuni huwa li tinjora finish_reason. Titlob kuntratt, tirċievi xi test lura, u taħżnu fil-bażi tad-data: ħlief li max_tokens=100 qata’ l-ġenerazzjoni f’nofs klawsola, u ħadd ma jinduna sakemm il-klijent jiffirma. Is-soluzzjoni tieħu tliet linji ta’ kodiċi u għandha ssir rifless.
# ĦŻIEN — l-ebda verifika
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Draft a complete contract."}],
max_tokens=100 # Qasir wisq għal kuntratt!
)
contract = response.choices[0].message.content # Potenzjalment imqatta'!
# TAJJEB — verifika sistematika
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Draft a complete contract."}],
max_tokens=4000
)
if response.choices[0].finish_reason == "length":
print("WARNING: Response truncated, increase max_tokens")
else:
contract = response.choices[0].message.content
Il-Ħalli tal-Istorja tal-Konversazzjoni Tikber Mingħajr Limiti
It-tieni trap jattiva bil-mod. Ċiklu ta’ chat li jibgħat l-istorja sħiħa tal-konversazzjoni f’kull dawra jaħdem perfettament għall-ewwel għaxar skambji, jispiċċa jiswa d-doppju sal-għoxrin, u eventwalment jaqbeż it-tieqa tal-kuntest (context window) sal-mija—bil-kont li jsegwi l-istess kurva. Is-soluzzjoni hija li żżomm il-prompt tas-sistema (mhux negozjabbli) u żżomm biss l-aħħar N messaġġi.
# ĦŻIEN — l-istorja tikber indefinittivament
conversation = []
while True:
user_input = input("You: ")
conversation.append({"role": "user", "content": user_input})
response = client.chat.complete(
model="mistral-large-latest",
messages=conversation # 100 dawra = eluf ta' tokens!
)
reply = response.choices[0].message.content
conversation.append({"role": "assistant", "content": reply})
# TAJJEB — tieqa li tiżżerżaq b'trimming
MAX_MESSAGES = 20
def trim_conversation(messages: list, max_messages: int = MAX_MESSAGES) -> list:
"""Iżomm il-prompt tas-sistema + l-aħħar N messaġġi."""
system = [m for m in messages if m["role"] == "system"]
history = [m for m in messages if m["role"] != "system"]
if len(history) > max_messages:
history = history[-max_messages:]
return system + history
Is-Suppożizzjoni li n-Netwerk Dejjem Iwieġeb
Sejħa API sempliċi tassumi li xejn ma sejjer ħażin: l-ebda timeout, l-ebda 429, l-ebda 500. Fil-produzzjoni, it-tlieta jiġru, u t-tielet iseħħ fl-agħar mument possibbli. Innota d-distinzjoni fil-kodiċi: 429 tiġġustifika backoff esponenzjali, żball tas-server jiġġustifika sekonda ta’ paċenzja, iżda żball tal-klijent bħal 400 jew 401 qatt m’għandu jiġi ppruvat mill-ġdid—iċ-ċavetta tiegħek mhux se ssir valida fit-tielet tentattiv; se ddewwim biss id-dijanjożi.
# ĦŻIEN — l-ebda ġestjoni tal-iżbalji
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Hello"}]
)
# Jikkraxxja fuq timeout, 429, 500...
# TAJJEB — ippruva mill-ġdid b'backoff
from mistralai.client.errors import SDKError
import time
def safe_complete(client, messages, max_retries=3, **kwargs):
"""Sejħa API b'tentattiv mill-ġdid u backoff esponenzjali."""
for attempt in range(max_retries):
try:
return client.chat.complete(messages=messages, **kwargs)
except SDKError as e:
if e.status_code == 429:
wait = 2 ** attempt
print(f"Rate limit hit, waiting {wait}s...")
time.sleep(wait)
elif e.status_code >= 500:
time.sleep(1)
else:
raise # Żball tal-klijent (400, 401) — tippruvax mill-ġdid
raise Exception("Failed after 3 attempts")
It-Talba lill-Mudell biex Jagħmel Dak li Ma Jistax Jagħmel
Tliet anti-mudelli jikkonverġu hawn. L-ewwel huwa lingwaġġ suġġettiv: “qasir”, “ħafna”, “interessanti” ma jirreferu għal xejn verifikabbli, u l-mudell jiddeċiedi b’mod differenti minn sejħa għall-oħra. Ibdel kull aġġettiv b’numru jew kriterju osservabbli.
# ĦŻIEN — suġġettiv, mhux kejl
"Write a short summary." # Qasir = sentenza 1? Paragrafu 1?
"Give many examples." # Ħafna = 3? 10? 50?
"Answer in an interesting way." # Interessanti skont liema kriterji?
# TAJJEB — kriterji oġġettivi
"Write a summary of 50 to 80 words."
"Give exactly 5 examples, one per line."
"Start every response with a relevant statistic."
It-tieni huwa li tħalli lill-mudell jgħodd. L-LLMs huma notorjament ħżiena fil-għadd ta’ kliem, karattri, u oġġetti: it-talba għal “eżattament 280 karattru” se tipproduċi test ta’ 240 jew 310. Il-għadd jappartjeni lill-applikazzjoni tiegħek, mhux lill-mudell.
# ĦŻIEN — il-mudell ma jistax jgħodd b'mod preċiż
"Write exactly 280 characters for a tweet."
# TAJJEB — għodd fuq in-naħa tal-applikazzjoni
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a tweet about AI in France."}],
max_tokens=100
)
tweet = response.choices[0].message.content
if len(tweet) > 280:
tweet = tweet[:277] + "..."
print(f"Tweet ({len(tweet)} chars): {tweet}")
It-tielet jaqa’ fl-istess familja: skali numeriċi. “Agħti rata minn 1 sa 5” tassumi li l-mudell għandu rappreżentazzjoni stabbli tad-differenza bejn 3 u 4, li m’għandux. Skala verbali fejn kull pass huwa definit minn kriterju tipproduċi klassifikazzjonijiet ferm aktar riproduċibbli.
# ĦŻIEN — il-mudelli jinterpretaw l-iskali numeriċi ħażin
"Rate the quality of this text from 1 to 5."
# TAJJEB — skala verbali b'definizzjonijiet
"""Rate the quality of this text according to the following scale:
- EXCELLENT: Clear, well-structured, no errors
- GOOD: Generally correct, minor improvements possible
- AVERAGE: Understandable but lacks structure or contains errors
- POOR: Difficult to understand, significant errors
- VERY POOR: Incomprehensible or off-topic
Respond only with the label in uppercase."""
Id-Distribuzzjoni Mingħajr Ma Tħalli Traċċa
L-aħħar anti-mudell huwa l-aktar diskret: isejjaħ l-API, jirritorna l-kontenut, u ma jżomm xejn. Il-jum li utent jirrapporta tweġiba aberranti, m’għandek la l-ID tat-talba, la l-mudell attwali servut, u lanqas il-konsum tat-tokens. Il-logging strutturat għal kull sejħa jispiċċa ftit millisekondi u jagħmel l-investigazzjoni possibbli.
# ĦŻIEN — l-ebda traċċa
response = client.chat.complete(
model="mistral-large-latest",
messages=messages
)
return response.choices[0].message.content
# TAJJEB — logging strutturat
import logging
import json
logger = logging.getLogger("mistral_api")
def logged_complete(client, messages, **kwargs):
"""Sejħa API b'logging strutturat."""
response = client.chat.complete(messages=messages, **kwargs)
logger.info(json.dumps({
"request_id": response.id,
"model": response.model,
"prompt_tokens": response.usage.prompt_tokens,
"completion_tokens": response.usage.completion_tokens,
"finish_reason": response.choices[0].finish_reason
}))
return response
Rutina ta’ Debugging
Meta tweġiba ma tilħaqx l-aspettattivi tiegħek, it-tentazzjoni hija li terġa’ tikteb il-prompt. Minflok, ibda b’ħames verifiki mekkaniċi, f’ordni: It-tweġiba hija sħiħa? Irrisponda l-mudell korrett? Kemm-il token ġew ikkunsmati? It-tweġiba hija vojta? Il-proporzjon output/input huwa plawżibbli? Proporzjon taħt l-1% fuq prompt kbir kważi dejjem jindika li l-mudell irrifjuta li jipproċessa t-talba aktar milli ġestieha ħażin.
def debug_response(response):
"""Lista ta' kontroll għad-debugging għal tweġibiet mhux mistennija."""
choice = response.choices[0]
# 1. It-tweġiba hija sħiħa?
if choice.finish_reason == "length":
print("ISSUE: Response truncated — increase max_tokens")
# 2. Intuża l-mudell korrett?
print(f"Model: {response.model}")
# 3. Kemm-il token ġew ikkunsmati?
print(f"Input tokens: {response.usage.prompt_tokens}")
print(f"Output tokens: {response.usage.completion_tokens}")
# 4. It-tweġiba hija vojta?
if not choice.message.content or not choice.message.content.strip():
print("ISSUE: Empty response")
# 5. Proporzjon input/output suspettuż?
ratio = response.usage.completion_tokens / max(response.usage.prompt_tokens, 1)
if ratio < 0.01:
print(f"WARNING: Very low output/input ratio ({ratio:.4f})")
Punti Ewlenin
- Dejjem iċċekkja
finish_reasonbiex tiskopri tqattigħ - Illimita l-istorja tal-konversazzjoni b’tieqa li tiżżerżaq
- Implimenta tentattiv mill-ġdid b’backoff esponenzjali għal żbalji tan-netwerk
- Uża kriterji oġġettivi u li jistgħu jitkejlu fil-prompts tiegħek
- Qatt ma tħalli lill-mudell jgħodd—ivvalida fuq in-naħa tal-applikazzjoni
- Irreġistra kull sejħa tal-API fil-produzzjoni għad-debugging u t-traċċar tal-ispejjeż