Frithphatrúin API
Ar an leathanach seo
- Botúin a Chosnaíonn Airgead i dtimpeallachtaí Táirgeachta
- Freagra Truncáilte a Mheas mar Cheann Iomlán
- Ligean do Stair an Chomhrá Fás gan Teorainn
- Glacadh leis go bhFreagraíonn an Líonra i gCónaí
- Iarradh ar an Múnla Rud a Dhéanamh Nach Féidir Leis a Dhéanamh
- Imscaradh gan Rian a Fhágáil
- Gnás Díbhugaireachta
- Príomhphointí
Botúin a Chosnaíonn Airgead i dtimpeallachtaí Táirgeachta
Tar éis dúinn na dea-chleachtais a chlúdach, tá sé in am breathnú ar an taobh eile. Is iad na frithphatrúin thíos na paistí is coitianta nuair a úsáidtear an API Críochnuithe Comhrá, agus tá tréith mhíthaitneamhach amháin acu: ní bhíonn siad le feiceáil le linn forbartha. As deich n-iarratas tástála, oibríonn gach rud go maith. Is sa timpeallacht táirgeachta a bhuaileann siad, ag cruthú costais gan choinne, freagraí neamhchomhleanúnacha, moill mhór, nó rud is measa fós – a sceitheadh sonraí íogaire.
Freagra Truncáilte a Mheas mar Cheann Iomlán
Is é an botún is coitianta ná neamhaird a dhéanamh ar finish_reason. Iarrann tú conradh, faigheann tú téacs ar ais, agus sábhálann tú é sa bhunachar sonraí: ach ghearr max_tokens=100 an ghiniúint i lár míre, agus ní thugann aon duine faoi deara é go dtí go síníonn an cliant é. Tógann an réiteach trí líne cód agus ba chóir go mbeadh sé ina nós agat.
# DROCH — gan fíorú
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Draft a complete contract."}],
max_tokens=100 # Ró-ghairid do chonradh!
)
contract = response.choices[0].message.content # B'fhéidir truncáilte!
# MAITH — fíorú córasach
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Draft a complete contract."}],
max_tokens=4000
)
if response.choices[0].finish_reason == "length":
print("RABHADH: Freagra truncáilte, méadaigh max_tokens")
else:
contract = response.choices[0].message.content
Ligean do Stair an Chomhrá Fás gan Teorainn
Is é an gaiste seo a thosaíonn go mall. Oibríonn lúb chomhrá a sheolann stair iomlán an chomhrá ar gach casadh go foirfe don chéad deich malartú, costálann sé faoi dhó faoin fichiú huair, agus sáraíonn sé fuinneog an chomhthéacs faoin gcéadú huair sa deireadh – agus leanann an bille an chuar céanna. Is é an réiteach ná an leid chórais a choinneáil (níl sé incháinte) agus gan ach na N teachtaireacht deireanacha a choinneáil.
# DROCH — fásann an stair gan teorainn
conversation = []
while True:
user_input = input("Tú: ")
conversation.append({"role": "user", "content": user_input})
response = client.chat.complete(
model="mistral-large-latest",
messages=conversation # 100 casadh = na mílte token!
)
reply = response.choices[0].message.content
conversation.append({"role": "assistant", "content": reply})
# MAITH — fuinneog sleamhnáin le bearradh
MAX_MESSAGES = 20
def trim_conversation(messages: list, max_messages: int = MAX_MESSAGES) -> list:
"""Coinníonn an leid chórais agus na N teachtaireacht deireanacha."""
system = [m for m in messages if m["role"] == "system"]
history = [m for m in messages if m["role"] != "system"]
if len(history) > max_messages:
history = history[-max_messages:]
return system + history
Glacadh leis go bhFreagraíonn an Líonra i gCónaí
Glacann glaonna API lom leis nach dtarlóidh aon rud mícheart: gan am-teorainneacha, gan 429, gan 500. I dtimpeallachtaí táirgeachta, tarlaíonn an trí cinn acu, agus tarlaíonn an tríú ceann ag an nóiméad is measa. Tabhair faoi deara an difríocht sa chód: údar le cúlú easpónantúil is ea 429, tuilleann earráid freastalaí soicind foighne, ach níor chóir riamh iarracht a dhéanamh arís ar earráid cliant cosúil le 400 nó 401 – ní bheidh d’eochair bailí ar an tríú hiarracht; ní dhéanfaidh tú ach an diagnóisic a mhoilliú.
# DROCH — gan láimhseáil earráide
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Hello"}]
)
# Tuairtear ar am-teorainn, 429, 500...
# MAITH — athiarracht le cúlú
from mistralai.client.errors import SDKError
import time
def safe_complete(client, messages, max_retries=3, **kwargs):
"""Glaonna API le hathiarracht agus cúlú easpónantúil."""
for attempt in range(max_retries):
try:
return client.chat.complete(messages=messages, **kwargs)
except SDKError as e:
if e.status_code == 429:
wait = 2 ** attempt
print(f"Buaileadh an teorainn ráta, ag fanacht {wait}s...")
time.sleep(wait)
elif e.status_code >= 500:
time.sleep(1)
else:
raise # Earráid cliant (400, 401) — ná déan athiarracht
raise Exception("Theip tar éis 3 iarracht")
Iarradh ar an Múnla Rud a Dhéanamh Nach Féidir Leis a Dhéanamh
Tagann trí fhrithphatrún le chéile anseo. Is é an chéad cheann teanga shuibiachtúil: tagraíonn “gairid”, “go leor”, “suimiúil” do rud ar bith incháilte, agus cinneoidh an múnla go difriúil ó ghlao go glao. Cuir uimhir nó critéar inbhraite in ionad gach aidiachta.
# DROCH — suibiachtúil, gan tomhas
"Write a short summary." # Gairid = 1 abairt? 1 mír?
"Give many examples." # Go leor = 3? 10? 50?
"Answer in an interesting way." # Suimiúil de réir cé na gcritéar?
# MAITH — critéir oibiachtúla
"Write a summary of 50 to 80 words."
"Give exactly 5 examples, one per line."
"Start every response with a relevant statistic."
Is é an dara ceann ná ligean don mhúnla comhaireamh a dhéanamh. Tá LLManna go dona go maith ag comhaireamh focal, carachtair, agus míreanna: má iarrann tú “go díreach 280 carachtar”, cruthóidh siad téacs de 240 nó 310. Is i d’fheidhmchlár féin a ba chóir an comhaireamh a dhéanamh, ní sa mhúnla.
# DROCH — ní féidir leis an múnla comhaireamh cruinn a dhéanamh
"Write exactly 280 characters for a tweet."
# MAITH — déan an comhaireamh ar thaobh an fheidhmchláir
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a tweet about AI in France."}],
max_tokens=100
)
tweet = response.choices[0].message.content
if len(tweet) > 280:
tweet = tweet[:277] + "..."
print(f"Tweet ({len(tweet)} chars): {tweet}")
Baineann an tríú ceann leis an teaghlach céanna: scálaí uimhriúla. Glacann “Déan rátáil ó 1 go 5” leis go bhfuil léiriú cobhsaí ag an múnla ar an mbearna idir 3 agus 4, rud nach bhfuil aige. Tugann scála foclach ina bhfuil gach céim sainmhínithe ag critéar rátálacha i bhfad níos in-atáirgthe.
# DROCH — léirmhíníonn múnlaí scálaí uimhriúla go dona
"Rate the quality of this text from 1 to 5."
# MAITH — scála foclach le sainmhínithe
"""Rate the quality of this text according to the following scale:
- EXCELLENT: Clear, well-structured, no errors
- GOOD: Generally correct, minor improvements possible
- AVERAGE: Understandable but lacks structure or contains errors
- POOR: Difficult to understand, significant errors
- VERY POOR: Incomprehensible or off-topic
Respond only with the label in uppercase."""
Imscaradh gan Rian a Fhágáil
Is é an frithphatrún deireanach an ceann is discreide: glaonna ar an API, ag filleadh an ábhair, agus gan aon rud a choinneáil. An lá a thuairiscíonn úsáideoir freagra aisteach, níl aon ID iarratais agat, ná an múnla iarbhír a seirbheadh, ná an tomhaltas token. Costálann logáil struchtúraithe in aghaidh an ghlao cúpla milleasoicind agus déanann sé fiosrúchán indéanta.
# DROCH — gan rian
response = client.chat.complete(
model="mistral-large-latest",
messages=messages
)
return response.choices[0].message.content
# MAITH — logáil struchtúraithe
import logging
import json
logger = logging.getLogger("mistral_api")
def logged_complete(client, messages, **kwargs):
"""Glaonna API le logáil struchtúraithe."""
response = client.chat.complete(messages=messages, **kwargs)
logger.info(json.dumps({
"request_id": response.id,
"model": response.model,
"prompt_tokens": response.usage.prompt_tokens,
"completion_tokens": response.usage.completion_tokens,
"finish_reason": response.choices[0].finish_reason
}))
return response
Gnás Díbhugaireachta
Nuair nach sásaíonn freagra do chuid ionchais, is é an tspreagadh ná an leid a athscríobh. Ina ionad sin, tosaigh le cúig sheiceáil mheicniúla, in ord: An bhfuil an freagra iomlán? An bhfuair an múnla ceart freagra? Cé mhéad token a tomhailteadh? An bhfuil an freagra folamh? An bhfuil an cóimheas aschur/ionchur réasúnach? Beagnach i gcónaí, léiríonn cóimheas faoi bhun 1% ar leid mór gur dhiúltaigh an múnla an t-iarratas a phróiseáil seachas é a mhí-láimhseáil.
def debug_response(response):
"""Seicliosta díbhugaireachta do fhreagraí gan choinne."""
choice = response.choices[0]
# 1. An bhfuil an freagra iomlán?
if choice.finish_reason == "length":
print("FADHB: Freagra truncáilte — méadaigh max_tokens")
# 2. An úsáideadh an múnla ceart?
print(f"Múnla: {response.model}")
# 3. Cé mhéad token a tomhailteadh?
print(f"Token ionchuir: {response.usage.prompt_tokens}")
print(f"Token aschuir: {response.usage.completion_tokens}")
# 4. An bhfuil an freagra folamh?
if not choice.message.content or not choice.message.content.strip():
print("FADHB: Freagra folamh")
# 5. Cóimheas ionchur/aschur amhrasach?
ratio = response.usage.completion_tokens / max(response.usage.prompt_tokens, 1)
if ratio < 0.01:
print(f"RABHADH: Cóimheas aschur/ionchur an-íseal ({ratio:.4f})")
Príomhphointí
- Seiceáil
finish_reasoni gcónaí chun truncáil a bhrath - Teorainn a chur le stair an chomhrá le fuinneog sleamhnáin
- Cuir athiarracht i bhfeidhm le cúlú easpónantúil d’earráidí líonra
- Úsáid critéir oibiachtúla, intomhaiste i do chuid leideanna
- Ná lig don mhúnla comhaireamh a dhéanamh riamh – bailíochtaigh ar thaobh an fheidhmchláir
- Déan logáil ar gach glaonna API i dtimpeallachtaí táirgeachta le haghaidh díbhugaireachta agus rianaithe costais