Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Βέλτιστες Πρακτικές Παραγωγής

Μάθημα 16 / 16 Ενημερώθηκε 2 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Από την Απόδειξη Εννοίας στην Ανάπτυξη
  2. Πιστοποίηση και Έκδοση Μοντέλου
  3. Ένας Πελάτης που Διαχειρίζεται Περιστατικά
  4. Παρακολούθηση Κόστους σε Πραγματικό Χρόνο
  5. Επικύρωση και στα Δύο Άκρα
  6. Διατήρηση του Παραθύρου Πλαισίου
  7. Τι Κερδίζετε από Αυτό το Μάθημα
  8. Βασικά σημεία
  9. Δοκιμάστε τις Γνώσεις σας

Από την Απόδειξη Εννοίας στην Ανάπτυξη

Τώρα κατέχετε κάθε παράμετρο του API Chat Completions. Το πιο δύσκολο κομμάτι παραμένει: η γεφύρωση του χάσματος μεταξύ ενός λειτουργικού notebook και μιας υπηρεσίας που χρησιμοποιούν άλλοι χωρίς την παρέμβασή σας. Αυτό το τελικό μάθημα ενοποιεί ολόκληρο το μάθημα σε μια λίστα ελέγχου παραγωγής με δυνατότητα εφαρμογής και στη συνέχεια δείχνει τον δρόμο για τα επόμενα μαθήματα.

Πιστοποίηση και Έκδοση Μοντέλου

Δύο αποφάσεις προηγούνται της πρώτης γραμμής επιχειρηματικής λογικής. Η πρώτη αφορά το κλειδί API: αυτό ζει σε μια μεταβλητή περιβάλλοντος, ποτέ στον κώδικα, και μια δήλωση κατά την εκκίνηση είναι προτιμότερη από ένα None που διαδίδεται τρία επίπεδα κάτω σε ένα ακατανόητο μήνυμα σφάλματος. Σχεδιάστε επίσης την περιστροφή — δημιουργήστε το νέο κλειδί, αναπτύξτε το και στη συνέχεια ανακαλέστε το παλιό, με αυτή τη σειρά, αν θέλετε να αποφύγετε τη διακοπή της υπηρεσίας.

import os

# ΠΑΝΤΑ: Κλειδί API σε μεταβλητή περιβάλλοντος
api_key = os.getenv("MISTRAL_API_KEY")
assert api_key, "MISTRAL_API_KEY not defined"

# ΠΟΤΕ: Σκληροκωδικοποιημένο κλειδί στον κώδικα
# api_key = "sk-abc123..."  # ΑΠΑΓΟΡΕΥΕΤΑΙ στην παραγωγή

# ΠΑΝΤΑ: Τακτική περιστροφή κλειδιών
# Δημιουργήστε ένα νέο κλειδί, αναπτύξτε το και στη συνέχεια ανακαλέστε το παλιό

Η δεύτερη απόφαση αφορά το αναγνωριστικό του μοντέλου. Στην ανάπτυξη, το -latest σας προσφέρει βελτιώσεις χωρίς κόπο. Στην παραγωγή, το ίδιο ψευδώνυμο σημαίνει ότι μια αλλαγή έκδοσης από την πλευρά του παρόχου μπορεί να αλλάξει τη συμπεριφορά της εφαρμογής σας χωρίς προειδοποίηση, ένα πρωί Τρίτης, χωρίς ίχνος commit για να το εξηγήσει. Καθορίστε την έκδοση.

# ΑΝΑΠΤΥΞΗ — τελευταία έκδοση
model = "mistral-large-latest"

# ΠΑΡΑΓΩΓΗ — σταθερή έκδοση για αναπαραγωγιμότητα
model = "mistral-large-2512"

# Γιατί; Μια αλλαγή "latest" μπορεί να αλλάξει τη συμπεριφορά της εφαρμογής σας
# χωρίς προειδοποίηση.

Ένας Πελάτης που Διαχειρίζεται Περιστατικά

Η καρδιά μιας ενσωμάτωσης παραγωγής δεν είναι η κλήση API αλλά όλα όσα την περιβάλλουν. Η κλάση παρακάτω συγκεντρώνει τρεις ευθύνες σε ένα μοναδικό σημείο ελέγχου: επανάληψη με εκθετική καθυστέρηση (exponential backoff) στα 429, μια σύντομη παύση στα σφάλματα διακομιστή και άμεση κλιμάκωση των σφαλμάτων πελάτη που καμία επανάληψη δεν θα διορθώσει. Κανονικοποιεί επίσης την απόκριση σε ένα σταθερό λεξικό — περιεχόμενο, finish_reason, χρήση, μοντέλο, ID — ώστε ο υπόλοιπος κώδικάς σας να μην εξαρτάται πλέον από την ακριβή μορφή του αντικειμένου που επιστρέφεται από το SDK. Το logger.warning στις περικοπές από μόνο του δικαιολογεί την ενθυλάκωση: είναι ο μόνος τρόπος να ανακαλύψετε ότι μια ρύθμιση max_tokens είναι πολύ αυστηρή πριν το αναφέρουν οι χρήστες.

from mistralai.client import Mistral
from mistralai.client.errors import SDKError
import time
import logging

logger = logging.getLogger(__name__)

class MistralClient:
    """Πελάτης παραγωγής με επανάληψη, χρονικό όριο και καταγραφή."""

    def __init__(self, api_key: str, max_retries: int = 3):
        self.client = Mistral(api_key=api_key)
        self.max_retries = max_retries

    def complete(self, messages: list, **kwargs) -> dict:
        for attempt in range(self.max_retries):
            try:
                response = self.client.chat.complete(
                    messages=messages,
                    **kwargs
                )

                result = {
                    "content": response.choices[0].message.content,
                    "finish_reason": response.choices[0].finish_reason,
                    "usage": {
                        "prompt": response.usage.prompt_tokens,
                        "completion": response.usage.completion_tokens,
                        "total": response.usage.total_tokens,
                    },
                    "model": response.model,
                    "id": response.id,
                }

                # Ειδοποίηση αν η απόκριση περικόπηκε
                if result["finish_reason"] == "length":
                    logger.warning(f"Response truncated — req_id={response.id}")

                return result

            except SDKError as e:
                if e.status_code == 429:
                    wait = 2 ** attempt
                    logger.warning(f"Rate limit, retry {attempt+1}/{self.max_retries} in {wait}s")
                    time.sleep(wait)
                elif e.status_code >= 500:
                    logger.error(f"Server error {e.status_code}, retry {attempt+1}")
                    time.sleep(1)
                else:
                    logger.error(f"Client error {e.status_code}: {e.message}")
                    raise

        raise Exception(f"Failed after {self.max_retries} attempts")

Παρακολούθηση Κόστους σε Πραγματικό Χρόνο

Η ανακάλυψη της κατανάλωσής σας στον μηνιαίο λογαριασμό είναι μια πολυτέλεια που λίγες ομάδες μπορούν να αντέξουν. Ο παρακολουθητής παρακάτω γράφει μία γραμμή JSONL ανά κλήση — χρονοσήμανση, μοντέλο, tokens εισόδου και εξόδου, finish_reason, ID αιτήματος — και διατηρεί ένα σύνολο συνεδρίας που μπορείτε να ερωτήσετε ανά πάσα στιγμή. Η μορφή JSONL δεν είναι λεπτομέρεια: συγκεντρώνεται με οποιοδήποτε εργαλείο ανάλυσης χωρίς βήμα ανάλυσης και η παρουσία του ID αιτήματος σας επιτρέπει να συνδέσετε μια ανωμαλία κόστους με μια συγκεκριμένη κλήση.

import json
from datetime import datetime, timezone

class CostTracker:
    """Παρακολούθηση κόστους API σε πραγματικό χρόνο."""

    def __init__(self, log_path: str = "api_costs.jsonl"):
        self.log_path = log_path
        self.session_tokens = {"prompt": 0, "completion": 0}

    def log(self, response_data: dict):
        usage = response_data["usage"]
        self.session_tokens["prompt"] += usage["prompt"]
        self.session_tokens["completion"] += usage["completion"]

        entry = {
            "ts": datetime.now(timezone.utc).isoformat(),
            "model": response_data["model"],
            "prompt_tokens": usage["prompt"],
            "completion_tokens": usage["completion"],
            "finish_reason": response_data["finish_reason"],
            "id": response_data["id"],
        }

        with open(self.log_path, "a") as f:
            f.write(json.dumps(entry) + "\n")

    def report(self) -> str:
        total = self.session_tokens["prompt"] + self.session_tokens["completion"]
        return (
            f"Session — Prompt: {self.session_tokens['prompt']:,} | "
            f"Completion: {self.session_tokens['completion']:,} | "
            f"Total: {total:,} tokens"
        )

Επικύρωση και στα Δύο Άκρα

Μια εύρωστη εφαρμογή δεν εμπιστεύεται ούτε αυτό που μπαίνει ούτε αυτό που βγαίνει. Στην είσοδο, απορρίψτε τα κενά μηνύματα, περιορίστε το μήκος στους 10.000 χαρακτήρες για να αποφύγετε ένα δυστυχές copy-paste να διογκώσει τον λογαριασμό σας και αφαιρέστε τους χαρακτήρες ελέγχου που διαταράσσουν την tokenization. Στην έξοδο, μην απορρίπτετε τίποτα αλλά εγείρετε προειδοποιήσεις: πιθανώς περικομμένη απόκριση, ασυνήθιστα σύντομη απόκριση κάτω από πέντε χαρακτήρες, ασυνήθιστα μεγάλη απόκριση πάνω από 50.000. Αυτά τα τρία σήματα εντοπίζουν τη συντριπτική πλειοψηφία των σιωπηλών αστοχιών.

def validate_input(user_message: str) -> str:
    """Επικύρωση και καθαρισμός εισόδου χρήστη."""
    if not user_message or not user_message.strip():
        raise ValueError("Empty message")

    if len(user_message) > 10_000:
        raise ValueError("Message too long (max 10,000 characters)")

    # Καθαρισμός χαρακτήρων ελέγχου
    cleaned = "".join(c for c in user_message if c.isprintable() or c in "\n\t")
    return cleaned.strip()

def validate_output(content: str, finish_reason: str) -> dict:
    """Επικύρωση εξόδου API."""
    warnings = []

    if finish_reason == "length":
        warnings.append("Response potentially truncated")

    if not content or len(content.strip()) < 5:
        warnings.append("Abnormally short response")

    if len(content) > 50_000:
        warnings.append("Abnormally long response")

    return {"content": content, "warnings": warnings, "valid": len(warnings) == 0}

Διατήρηση του Παραθύρου Πλαισίου

Ένα τελευταίο ζήτημα: η αργή ολίσθηση των μεγάλων συνομιλιών. Η συνάρτηση παρακάτω εκτιμά τον όγκο σε ένα token ανά τέσσερις χαρακτήρες στα Γαλλικά — μια κατά προσέγγιση εκτίμηση αλλά επαρκής ως δικλείδα ασφαλείας — και επιτρέπει στα αιτήματα να περάσουν εφόσον παραμένουν κάτω από το 80% του ορίου. Πέρα από αυτό, διατηρεί την προτροπή συστήματος και αφαιρεί τα παλαιότερα μηνύματα μέχρι να επιστρέψουν κάτω από το 70%. Αυτό το κενό μεταξύ των δύο κατωφλίων είναι σκόπιμο: η περικοπή μόνο στο κατώφλι ενεργοποίησης θα έσπρωχνε τη συνάρτηση πίσω στο κόκκινο στο επόμενο μήνυμα.

def manage_context(messages: list, max_tokens: int = 100_000) -> list:
    """Διατήρηση μηνυμάτων εντός του ορίου token του μοντέλου."""
    # Εκτίμηση: 1 token ~ 4 χαρακτήρες στα Γαλλικά
    total_chars = sum(len(m["content"]) for m in messages)
    estimated_tokens = total_chars // 4

    if estimated_tokens < max_tokens * 0.8:
        return messages  # Όλα χωράνε

    # Διατήρηση συστήματος + πρώτου και τελευταίου μηνύματος
    system = [m for m in messages if m["role"] == "system"]
    history = [m for m in messages if m["role"] != "system"]

    # Αφαίρεση παλαιότερων μηνυμάτων
    while estimated_tokens > max_tokens * 0.7 and len(history) > 2:
        removed = history.pop(0)
        estimated_tokens -= len(removed["content"]) // 4

    return system + history

Τι Κερδίζετε από Αυτό το Μάθημα

Η διαδρομή ακολούθησε τέσσερα βήματα. Πρώτον, τα θεμελιώδη: το endpoint, οι ρόλοι, οι βασικές παράμετροι και η δομή απόκρισης. Στη συνέχεια, η ροή δεδομένων (streaming), με το πρωτόκολλο SSE, την υλοποίησή του σε Python, τις ακολουθίες διακοπής και την ενίσχυση μέσω safe_prompt και δικλείδων ασφαλείας. Η δημιουργία προτροπών (Prompting) κατέλαβε την τρίτη φάση — προτροπές συστήματος παραγωγής, few-shot, δομή XML και Markdown, αντι-patterns. Οι προηγμένες παράμετροι έκλεισαν τον κύκλο: θερμοκρασία και Top P λεπτομερώς, ποινές παρουσίας και συχνότητας, N ολοκληρώσεις και αυτή η λίστα ελέγχου παραγωγής.

Η διαμόρφωση παρακάτω συμπυκνώνει αυτές τις επιλογές σε ένα υπερασπίσιμο σημείο εκκίνησης για μια πρώτη ανάπτυξη παραγωγής: σταθερή έκδοση, ανώτατο όριο token κατάλληλο για τη χρήση, χαμηλή θερμοκρασία γιαπραγματικήική συνέπεια, top_p α untouched καθώς η θερμοκρασία προσαρμόζεται, ουδέτερες ποινές εκτός εάν μια συγκεκριμένη ανάγκη τις δικαιολογεί και safe_prompt ενεργοποιημένο.

# Τυπική διαμόρφωση για μια εφαρμογή παραγωγής
PRODUCTION_CONFIG = {
    "model": "mistral-large-2512",      # Σταθερή έκδοση
    "max_tokens": 2000,                  # Κατάλληλο για τη χρήση
    "temperature": 0.3,                  # Συνεπές και fact-based
    "top_p": 1.0,                        # Αμετάβλητο αν η θερμοκρασία προσαρμόζεται
    "presence_penalty": 0.0,             # Προεπιλογή εκτός εάν υπάρχει συγκεκριμένη ανάγκη
    "frequency_penalty": 0.0,            # Προεπιλογή εκτός εάν υπάρχει συγκεκριμένη ανάγκη
    "safe_prompt": True,                 # Ασφάλεια ενεργοποιημένη
}

Για να προχωρήσετε περαιτέρω με το Mistral API, τέσσερα συμπληρωματικά μαθήματα ακολουθούν στην Corsen Academy:

  • Embeddings και RAG — Σημασιολογική αναζήτηση με mistral-embed και διανυσματικές βάσεις δεδομένων
  • Function Calling — Σύνδεση του μοντέλου με τα εργαλεία σας και εξωτερικά API
  • Fine-tuning — Προσαρμογή ενός μοντέλου στον συγκεκριμένο τομέα σας
  • Παραγωγή και Αξιολόγηση — Μετρικές, αυτοματοποιημένες αξιολογήσεις, βελτιστοποίηση κόστους

Βασικά σημεία

  • Χρησιμοποιήστε μοντέλα με έκδοση στην παραγωγή, ποτέ -latest
  • Υλοποιήστε επανάληψη + backoff + καταγραφή από την πρώτη ανάπτυξη
  • Επικυρώστε ΤΟΣΟ τις εισόδους ΟΣΟ και τις εξόδους κάθε κλήσης API
  • Παρακολουθήστε το κόστος σε πραγματικό χρόνο με έναν παρακολουθητή token
  • Διαχειριστείτε το παράθυρο πλαισίου για μεγάλες συνομιλίες
  • Ενεργοποιήστε το safe_prompt ως ελάχιστο δίχτυ ασφαλείας
  • Δοκιμάστε τις προτροπές σας με οριακές περιπτώσεις πριν από κάθε κυκλοφορία στην παραγωγή

Δοκιμάστε τις Γνώσεις σας

Δεν υπάρχουν πια μυστικά στο endpoint chat/completions; Ας το επαληθεύσουμε.

1. Ποιοι ρόλοι δομούν τη λίστα μηνυμάτων;

Απάντηση: system (το πλαίσιο), user (αιτήματα), assistant (απαντήσεις μοντέλου) — το πλήρες ιστορικό επανεκκινείται με κάθε κλήση, καθώς το API είναι χωρίς κατάσταση.

2. Τι βρίσκετε στο πεδίο usage της απόκρισης;

Απάντηση: Tokens που καταναλώθηκαν στην είσοδο και την έξοδο — η βάση για τη χρέωση και η μετρική που πρέπει να παρακολουθείτε για τον καθορισμό μεγέθους και κόστους.

3. Πώς λειτουργεί η ροή δεδομένων SSE;

Απάντηση: Η απόκριση φτάνει ως Server-Sent Events, τμήμα προς τμήμα: εμφανίζετε καθώς έρχεται και συγχωνεύετε για να λάβετε το τελικό μήνυμα.

4. Σε τι χρησιμεύουν οι ακολουθίες διακοπής;

Απάντηση: Για να διακόψουν τη δημιουργία μόλις εμφανιστεί μια δεδομένη συμβολοσειρά: έλεγχος μήκους, διακοπή σε οριοθέτη, εγγύηση καθαρών μορφών.

5. Θερμοκρασία, Top P, ποινές: ποια χρήση στην παραγωγή;

Απάντηση: Η Θερμοκρασία/Top P ορίζουν τον ντετερμινισμό ανά εργασία· οι ποινές παρουσίας/συχνότητας περιορίζουν την επανάληψη — ρυθμίσεις που πρέπει να καθορίζονται ανά χρήση και να τεκμηριώνονται alongside τις προτροπές σας.

Ρόλοι, χρήση, ροή δεδομένων, διακοπές, συντονισμός: τα θεμελιώδη ισχύουν — οι παραπάνω βέλτιστες πρακτικές παραγωγής τα βάζουν σε τάξη.