Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Επιδόσεις σε Περιβάλλον Παραγωγής

Μάθημα 11 / 14 Ενημερώθηκε 29 Ιουλίου 2026 Προχωρημένος
Σε αυτήν τη σελίδα
  1. Πέρα από την Προσωρινή Αποθήκευση: Συνολικές Επιδόσεις
  2. Ροή Δεδομένων (Streaming): Εξοικονόμηση Χρόνου Χωρίς Πραγματική Εξοικονόμηση Χρόνου
  3. Επιλογή Μοντέλου για Λανθάνουσα Χρόνο
  4. Διαχείριση Σφαλμάτων Χωρίς Επιδείνωση της Κατάστασης
  5. Χρονικά Όρια και Ανθεκτικότητα
  6. Τι Να Παρακολουθείτε (Instrumentation)
  7. Βασικά σημεία

Πέρα από την Προσωρινή Αποθήκευση: Συνολικές Επιδόσεις

Η προσωρινή αποθήκευση (cache) μειώνει το κόστος, αλλά η ενσωμάτωση σε περιβάλλον παραγωγής εξαρτάται από περισσότερα από τον λογαριασμό: η λανθάνουσα χρόνος που αντιλαμβάνεται ο χρήστης, η διατηρήσιμη απόδοση, η αξιοπιστία απέναντι σε παροδικά σφάλματα και η ικανότητα διάγνωσης της υποβάθμισης. Μια εφαρμογή που κοστίζει λίγο αλλά αποκρίνεται σε 12 δευτερόλεπτα ή αποτυγχάνει μία φορά στα 50 δεν θεωρείται αποδοτική. Αυτό το μάθημα καλύπτει τις τέσσερις διαστάσεις που έχουν σημασία μόλις έχετε κατακτήσει το κόστος.

Ροή Δεδομένων (Streaming): Εξοικονόμηση Χρόνου Χωρίς Πραγματική Εξοικονόμηση Χρόνου

Για κάθε διεπαφή όπου ένας άνθρωπος περιμένει μια απάντηση, η ροή SSE (Server-Sent Events) αλλάζει ριζικά την αντίληψη. Χωρίς αυτήν, ο χρήστης κοιτάζει έναν κέρσορα ενώ το μοντέλο παράγει 500 tokens· με αυτήν, οι πρώτες λέξεις εμφανίζονται μετά από μερικές εκατοντάδες χιλιοστά του δευτερολέπτου και η ανάγνωση ξεκινά κατά τη διάρκεια της παραγωγής. Ο συνολικός χρόνος παραμένει ο ίδιος, αλλά ο αντιληπτός χρόνος μειώνεται κατά έναν συντελεστή πολλών.

import requests
import json

def appel_streaming(messages, model="grok-4.20"):
    reponse = requests.post(
        "https://api.x.ai/v1/chat/completions",
        headers={
            "Authorization": f"Bearer {api_key}",
            "Content-Type": "application/json"
        },
        json={
            "model": model,
            "messages": messages,
            "stream": True
        },
        stream=True
    )

    for ligne in reponse.iter_lines():
        if ligne and ligne.startswith(b"data: "):
            donnees = ligne[6:]
            if donnees == b"[DONE]":
                break
            chunk = json.loads(donnees)
            token = chunk["choices"][0]["delta"].get("content", "")
            yield token

Η παράμετρος stream: True δεν αλλάζει ούτε τον αριθμό των χρεώσιμων tokens ούτε τον ρυθμό τους. Αυτό που βελτιώνετε είναι ο TTFT — ο χρόνος μέχρι το πρώτο token. Σημειώστε ότι η συνάρτηση είναι μια γεννήτρια: παραδίδει τον έλεγχο token προς token, επιτρέποντάς σας να γράφετε απευθείας στην απόκριση HTTP του διακομιστή σας χωρίς να κρατάτε ολόκληρη τη παραγωγή στη μνήμη.

Επιλογή Μοντέλου για Λανθάνουσα Χρόνο

Ο δεύτερος μοχλός λανθάνουσας χρόνου είναι η επιλογή του μοντέλου, και αυτό εξαρτάται κυρίως από την προσπάθεια συλλογισμού. Ένα μοντέλο συλλογισμού παράγει αόρατα tokens συλλογισμού πριν συντάξει την απάντησή του: η ποιότητα αυξάνεται, αλλά αυξάνεται και η καθυστέρηση. Στα άκρα, το grok-build-0.1 είναι το ταχύτερο στον κατάλογο, καθιστώντας το κατάλληλο για χρήσεις σε πραγματικό χρόνο, όπως η ταξινόμηση εν κινήσει ή η αυτόματη συμπλήρωση· το grok-4.20-0309 στη μη εκδοχή συλλογισμού και το grok-4.3 προσφέρουν μια λογική συμβιβαστική λύση μεταξύ ποιότητας και ταχύτητας· το grok-4.5 με βαθύ συλλογισμό βρίσκεται στο άλλο άκρο, προορισμένο για εργασίες που το απαιτούν πραγματικά.

Η πρακτική συνέπεια είναι ότι δεν επιλέγετε ένα μοντέλο για μια εφαρμογή, αλλά για ένα βήμα. Ένα κοινό μοτίβο είναι να έχετε μια γρήγορη αρχική κλήση που αποφασίζει — είναι αυτό το αίτημα τετριμμένο, διφορούμενο ή πολύπλοκο; — και στη συνέχεια να στέλνετε μόνο το κλάσμα των περιπτώσεων που το δικαιολογούν σε ένα μοντέλο συλλογισμού. Μειώνετε τόσο τη μέση λανθάνουσα χρόνο όσο και το μέσο κόστος χωρίς να υποβαθμίζετε τις δύσκολες περιπτώσεις.

Διαχείριση Σφαλμάτων Χωρίς Επιδείνωση της Κατάστασης

Ο κωδικός 429 που καλύφθηκε στο Μάθημα 3 δεν είναι ο μόνος που θα συναντήσετε. Η βασική διάκριση έγκειται μεταξύ των σφαλμάτων που αξίζουν επανάληψη και εκείνων όπου η επανάληψη απλώς προσθέτει περιττή κίνηση.

ΚωδικόςΦύσηΕνέργεια
429 Too Many RequestsΑνακτήσιμοΕκθετική καθυστέρηση (Μάθημα 3)
500 Internal Server ErrorΑνακτήσιμοΕπανάληψη με καθυστέρηση· το σφάλμα είναι πλευράς διακομιστή
502 / 503 Service UnavailableΑνακτήσιμοΕπανάληψη μετά από λίγα δευτερόλεπτα
400 Bad RequestΤελικόΕσφαλμένο αίτημα· διορθώστε το ωφέλιμο φορτίο
401 UnauthorizedΤελικόΜη έγκυρο ή ληγμένο κλειδί API
413 Payload Too LargeΤελικόΤο prompt υπερβαίνει το όριο συμφραζομένων

Μπορείτε να κωδικοποιήσετε αυτόν τον κανόνα σε τρεις γραμμές και αξίζει να τον απομονώσετε σε μια συνάρτηση αντί να σκορπίζετε εντολές if παντού:

def classifier_erreur(status_code):
    recuperable = {429, 500, 502, 503}
    return status_code in recuperable

Χρονικά Όρια και Ανθεκτικότητα

Ένα κακώς ορισμένο χρονικό όριο δημιουργεί δύο αντίθετα προβλήματα: αν είναι πολύ μικρό, εγκαταλείπει αιτήματα που θα είχαν επιτύχει· αν είναι πολύ μεγάλο, μπλοκάρει τους workers σας ενώ η ουρά μεγαλώνει. Ορίστε τρία ξεχωριστά όρια. Η σύνδεση πρέπει να establishes σε 10 δευτερόλεπτα· πέρα από αυτό, το πρόβλημα είναι το δίκτυο. Η ανάγνωση σε μη ροή κλιμακώνεται με το μοντέλο: 120 δευτερόλεπτα για ένα μοντέλο συλλογισμού, 60 δευτερόλεπτα για το grok-build-0.1. Στη ροή, το σχετικό όριο δεν είναι η συνολική διάρκεια αλλά το διάστημα μεταξύ των chunks, το οποίο ορίζεται γύρω στα 30 δευτερόλεπτα.

Ένα σημείο αξίζει πραγματική προσοχή: όταν ένα χρονικό όριο λήξει κατά τη διάρκεια μιας μεγάλης παραγωγής, μην κάνετε αυτόματη επανεκκίνηση. Το μοντέλο μπορεί να έχει ήδη καταναλώσει tokens συλλογισμού για τα οποία θα πληρώσετε για δεύτερη φορά, και τίποτα δεν εγγυάται ότι το πρώτο αίτημα δεν πέτυχε στην πλευρά του διακομιστή. Ένας μηχανισμός ιδιοδυναμίας (idempotence) — ένα κλειδί αιτήματος που κρατάτε για να αναγνωρίσετε ένα διπλότυπο — ή μια ρητή επανάληψη λειτουργούν καλύτερα από μια τυφλή επανάληψη.

Τι Να Παρακολουθείτε (Instrumentation)

Τέσσερις οικογένειες μετρικών αρκούν για τη διάγνωση των περισσότερων περιστατικών.

ΜετρικήΤι ΑποκαλύπτειΣτόχος
TTFTΑντιληπτή αρχική λανθάνουσα χρόνοςΠαρακολούθηση ανά μοντέλο
Ποσοστό ΕπιτυχίαςΑξιοπιστία ενσωμάτωσηςΜεγαλύτερο από 99,5%
Ποσοστό CacheΠοιότητα δομής promptΜεγαλύτερο από 50%
Κόστος ανά ΑίτημαΑπόκλιση προϋπολογισμού, κυλιόμενος μέσος όροςΣταθερό με την πάροδο του χρόνου

Προσθέστε τη λανθάνουσα χρόνο στο 95ο εκατοστημόριο. Ο μέσος όρος πάντα αποκρύπτει τις ακραίες περιπτώσεις, και αυτές είναι που προκαλούν αιτήματα υποστήριξης: ένα P95 στα 8 δευτερόλεπτα σημαίνει ότι ένας στους 20 χρήστες περιμένει 8 δευτερόλεπτα, κάτι που κανένας μέσος όρος 1,2 δευτερολέπτων δεν θα αποκάλυπτε.

Βασικά σημεία

  • Η ροή SSE μειώνει την αντιληπτή λανθάνουσα χρόνο χωρίς να επηρεάζει το κόστος
  • Επιλέξτε ένα γρήγορο μοντέλο για πραγματικό χρόνο και ένα μοντέλο συλλογισμού για ποιότητα
  • Διακρίνετε τα ανακτήσιμα σφάλματα (429, 500, 502/503) από τα τελικά σφάλματα (400, 401)
  • Διαμορφώστε χρονικά όρια κατάλληλα για το μοντέλο που χρησιμοποιείται
  • Παρακολουθείτε το TTFT, το ποσοστό επιτυχίας, το ποσοστό cache και το μέσο κόστος ανά αίτημα