Αντι-πρότυπα API
Σε αυτήν τη σελίδα
- Λάθη που κοστίζουν χρήματα στην παραγωγή
- Θεώρηση μιας περικομμένης απάντησης ως ολοκληρωμένης
- Αφήνοντας το ιστορικό συνομιλίας να μεγαλώνει χωρίς όρια
- Υποθέτοντας ότι το δίκτυο αποκρίνεται πάντα
- Ζητώντας από το μοντέλο να κάνει αυτό που δεν μπορεί
- Ανάπτυξη χωρίς να αφήνετε ίχνη
- Μια ρουτίνα αποσφαλμάτωσης
- Βασικά σημεία
Λάθη που κοστίζουν χρήματα στην παραγωγή
Αφού καλύψαμε τις βέλτιστες πρακτικές, ήρθε η ώρα να εξετάσουμε την άλλη όψη του νομίσματος. Τα αντι-πρότυπα που ακολουθούν αποτελούν τις πιο συχνές παγίδες κατά τη χρήση του Chat Completions API και έχουν ένα δυσάρεστο κοινό χαρακτηριστικό: δεν εμφανίζονται κατά την ανάπτυξη. Από δέκα αιτήματα δοκιμής, όλα λειτουργούν άψογα. Είναι στην παραγωγή που εκδηλώνονται βίαια, προκαλώντας απροσδόκητο κόστος, ασυνάρτητες απαντήσεις, υψηλή καθυστέρηση ή, στη χειρότερη περίπτωση, διαρροές ευαίσθητων δεδομένων.
Θεώρηση μιας περικομμένης απάντησης ως ολοκληρωμένης
Το πιο συχνό λάθος είναι η αγνόηση του finish_reason. Ζητάτε ένα συμβόλαιο, λαμβάνετε κάποιο κείμενο, το αποθηκεύετε στη βάση δεδομένων: εκτός αν το max_tokens=100 διέκοψε τη δημιουργία στη μέση μιας ρήτρας και κανείς δεν το πρόσεξε μέχρι να υπογράψει ο πελάτης. Η διόρθωση απαιτεί τρεις γραμμές κώδικα και πρέπει να γίνει αντανακλαστική κίνηση.
# ΚΑΚΟ — χωρίς επαλήθευση
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Draft a complete contract."}],
max_tokens=100 # Πολύ μικρό για συμβόλαιο!
)
contract = response.choices[0].message.content # Πιθανόν περικομμένο!
# ΚΑΛΟ — συστηματική επαλήθευση
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Draft a complete contract."}],
max_tokens=4000
)
if response.choices[0].finish_reason == "length":
print("WARNING: Response truncated, increase max_tokens")
else:
contract = response.choices[0].message.content
Αφήνοντας το ιστορικό συνομιλίας να μεγαλώνει χωρίς όρια
Η δεύτερη παγίδα ενεργοποιείται αργά. Ένας βρόχος chat που στέλνει ολόκληρο το ιστορικό συνομιλίας σε κάθε βήμα λειτουργεί τέλεια για τις πρώτες δέκα ανταλλαγές, κοστίζει διπλάσια μέχρι την εικοστή και τελικά υπερβαίνει το παράθυρο συμφραζομένων (context window) στην εκατοστή—με τον λογαριασμό να ακολουθεί την ίδια καμπύλη. Η λύση είναι να διατηρήσετε το prompt συστήματος (μη διαπραγματεύσιμο) και να κρατήσετε μόνο τα τελευταία N μηνύματα.
# ΚΑΚΟ — το ιστορικό μεγαλώνει επ' αόριστον
conversation = []
while True:
user_input = input("You: ")
conversation.append({"role": "user", "content": user_input})
response = client.chat.complete(
model="mistral-large-latest",
messages=conversation # 100 γύροι = χιλιάδες tokens!
)
reply = response.choices[0].message.content
conversation.append({"role": "assistant", "content": reply})
# ΚΑΛΟ — συρόμενο παράθυρο με περικοπή
MAX_MESSAGES = 20
def trim_conversation(messages: list, max_messages: int = MAX_MESSAGES) -> list:
"""Διατηρεί το prompt συστήματος + τα τελευταία N μηνύματα."""
system = [m for m in messages if m["role"] == "system"]
history = [m for m in messages if m["role"] != "system"]
if len(history) > max_messages:
history = history[-max_messages:]
return system + history
Υποθέτοντας ότι το δίκτυο αποκρίνεται πάντα
Μια γυμνή κλήση API υποθέτει ότι τίποτα δεν θα πάει στραβά: κανένα timeout, κανένα 429, κανένα 500. Στην παραγωγή, και τα τρία συμβαίνουν, και το τρίτο συμβαίνει στην χειρότερη δυνατή στιγμή. Σημειώστε τη διάκριση στον κώδικα: ένα 429 δικαιολογεί εκθετική επαναφορά (exponential backoff), ένα σφάλμα διακομιστή warrants ένα δευτερόλεπτο υπομονής, αλλά ένα σφάλμα πελάτη όπως ένα 400 ή 401 δεν πρέπει ποτέ να επαναλαμβάνεται—το κλειδί σας δεν θα γίνει έγκυρο στην τρίτη προσπάθεια· απλώς θα καθυστερήσετε τη διάγνωση.
# ΚΑΚΟ — χωρίς διαχείριση σφαλμάτων
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Hello"}]
)
# Κατάρρευση σε timeout, 429, 500...
# ΚΑΛΟ — επανάληψη με εκθετική επαναφορά
from mistralai.client.errors import SDKError
import time
def safe_complete(client, messages, max_retries=3, **kwargs):
"""Κλήση API με επανάληψη και εκθετική επαναφορά."""
for attempt in range(max_retries):
try:
return client.chat.complete(messages=messages, **kwargs)
except SDKError as e:
if e.status_code == 429:
wait = 2 ** attempt
print(f"Rate limit hit, waiting {wait}s...")
time.sleep(wait)
elif e.status_code >= 500:
time.sleep(1)
else:
raise # Σφάλμα πελάτη (400, 401) — μην επαναλάβετε
raise Exception("Failed after 3 attempts")
Ζητώντας από το μοντέλο να κάνει αυτό που δεν μπορεί
Εδώ συγκλίνουν τρία αντι-πρότυπα. Το πρώτο είναι η υποκειμενική γλώσσα: «μικρό», «πολλά», «ενδιαφέρον» δεν αναφέρονται σε τίποτα επαληθεύσιμο και το μοντέλο θα αποφασίσει διαφορετικά από κλήση σε κλήση. Αντικαταστήστε κάθε επίθετο με έναν αριθμό ή ένα παρατηρήσιμο κριτήριο.
# ΚΑΚΟ — υποκειμενικό, μη μετρήσιμο
"Write a short summary." # Μικρό = 1 πρόταση; 1 παράγραφος;
"Give many examples." # Πολλά = 3; 10; 50;
"Answer in an interesting way." # Ενδιαφέρον με ποια κριτήρια;
# ΚΑΛΟ — αντικειμενικά κριτήρια
"Write a summary of 50 to 80 words."
"Give exactly 5 examples, one per line."
"Start every response with a relevant statistic."
Το δεύτερο είναι να αφήνετε το μοντέλο να μετράει. Τα LLMs είναι διαβόητα κακά στο να μετράνε λέξεις, χαρακτήρες και στοιχεία: το να ζητήσετε «ακριβώς 280 χαρακτήρες» θα παράγει κείμενο 240 ή 310. Η μέτρηση ανήκει στην εφαρμογή σας, όχι στο μοντέλο.
# ΚΑΚΟ — το μοντέλο δεν μπορεί να μετρήσει με ακρίβεια
"Write exactly 280 characters for a tweet."
# ΚΑΛΟ — μέτρηση στην πλευρά της εφαρμογής
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a tweet about AI in France."}],
max_tokens=100
)
tweet = response.choices[0].message.content
if len(tweet) > 280:
tweet = tweet[:277] + "..."
print(f"Tweet ({len(tweet)} chars): {tweet}")
Το τρίτο εμπίπτει στην ίδια οικογένεια: οι αριθμητικές κλίμακες. Το «Βαθμολογήστε από 1 έως 5» υποθέτει ότι το μοντέλο έχει μια σταθερή αναπαράσταση του χάσματος μεταξύ 3 και 4, κάτι που δεν ισχύει. Μια λεκτική κλίμακα όπου κάθε βήμα ορίζεται από ένα κριτήριο αποδίδει πολύ πιο αναπαραγώγιμες βαθμολογίες.
# ΚΑΚΟ — τα μοντέλα ερμηνεύουν poorly τις αριθμητικές κλίμακες
"Rate the quality of this text from 1 to 5."
# ΚΑΛΟ — λεκτική κλίμακα με ορισμούς
"""Rate the quality of this text according to the following scale:
- EXCELLENT: Clear, well-structured, no errors
- GOOD: Generally correct, minor improvements possible
- AVERAGE: Understandable but lacks structure or contains errors
- POOR: Difficult to understand, significant errors
- VERY POOR: Incomprehensible or off-topic
Respond only with the label in uppercase."""
Ανάπτυξη χωρίς να αφήνετε ίχνη
Το τελευταίο αντι-πρότυπο είναι το πιο διακριτικό: καλείτε το API, επιστρέφετε το περιεχόμενο και δεν κρατάτε τίποτα. Την ημέρα που ένας χρήστης αναφέρει μια παράλογη απάντηση, δεν έχετε ούτε το ID αιτήματος, ούτε το πραγματικό μοντέλο που εξυπηρέτησε, ούτε την κατανάλωση tokens. Η δομημένη καταγραφή (logging) ανά κλήση κοστίζει λίγα χιλιοστά του δευτερολέπτου και καθιστά δυνατή τη διερεύνηση.
# ΚΑΚΟ — χωρίς ίχνη
response = client.chat.complete(
model="mistral-large-latest",
messages=messages
)
return response.choices[0].message.content
# ΚΑΛΟ — δομημένη καταγραφή
import logging
import json
logger = logging.getLogger("mistral_api")
def logged_complete(client, messages, **kwargs):
"""Κλήση API με δομημένη καταγραφή."""
response = client.chat.complete(messages=messages, **kwargs)
logger.info(json.dumps({
"request_id": response.id,
"model": response.model,
"prompt_tokens": response.usage.prompt_tokens,
"completion_tokens": response.usage.completion_tokens,
"finish_reason": response.choices[0].finish_reason
}))
return response
Μια ρουτίνα αποσφαλμάτωσης
Όταν μια απάντηση δεν ανταποκρίνεται στις προσδοκίες σας, ο πειρασμός είναι να ξαναγράψετε το prompt. Αντ’ αυτού, ξεκινήστε με πέντε μηχανικούς ελέγχους, με σειρά: Είναι η απάντηση ολοκληρωμένη; Απάντησε το σωστό μοντέλο; Πόσα tokens καταναλώθηκαν; Είναι η απάντηση κενή; Είναι ο λόγος εξόδου/εισόδου εύλογος; Ένας λόγος κάτω από 1% σε ένα μεγάλο prompt σχεδόν πάντα σηματοδοτεί ότι το μοντέλο αρνήθηκε να επεξεργαστεί το αίτημα παρά να το χειρίστηκε λανθασμένα.
def debug_response(response):
"""Λίστα ελέγχου αποσφαλμάτωσης για απροσδόκητες απαντήσεις."""
choice = response.choices[0]
# 1. Είναι η απάντηση ολοκληρωμένη;
if choice.finish_reason == "length":
print("ISSUE: Response truncated — increase max_tokens")
# 2. Χρησιμοποιήθηκε το σωστό μοντέλο;
print(f"Model: {response.model}")
# 3. Πόσα tokens καταναλώθηκαν;
print(f"Input tokens: {response.usage.prompt_tokens}")
print(f"Output tokens: {response.usage.completion_tokens}")
# 4. Είναι η απάντηση κενή;
if not choice.message.content or not choice.message.content.strip():
print("ISSUE: Empty response")
# 5. Ύποπτος λόγος εισόδου/εξόδου;
ratio = response.usage.completion_tokens / max(response.usage.prompt_tokens, 1)
if ratio < 0.01:
print(f"WARNING: Very low output/input ratio ({ratio:.4f})")
Βασικά σημεία
- Ελέγχετε πάντα το
finish_reasonγια να εντοπίσετε περικοπές - Περιορίστε το ιστορικό συνομιλίας με ένα συρόμενο παράθυρο
- Υλοποιήστε επανάληψη με εκθετική επαναφορά για σφάλματα δικτύου
- Χρησιμοποιήστε αντικειμενικά, μετρήσιμα κριτήρια στα prompts σας
- Μην αφήνετε ποτέ το μοντέλο να μετράει—επικυρώστε στην πλευρά της εφαρμογής
- Καταγράφετε κάθε κλήση API στην παραγωγή για αποσφαλμάτωση και παρακολούθηση κόστους