Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Όρια ρυθμού και βέλτιστες πρακτικές

Μάθημα 12 / 12 Ενημερώθηκε 2 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Περιορισμοί που πρέπει να γνωρίζετε
  2. Όρια ρυθμού
  3. Όρια αρχείων JSONL
  4. Λήξη URL
  5. Βέλτιστες πρακτικές για παραγωγή
  6. Λίστα ελέγχου προ-παραγωγής
  7. Βασικά σημεία
  8. Δοκιμάστε τις γνώσεις σας

Ενημερώθηκε στις 2 Νοεμβρίου 2026. Με βάση την τεκμηρίωση της xAI: η έκπτωση παρτίδας (batch) είναι 20% στα eligible μοντέλα κειμένου, τα παραδείγματα ακολουθούν το REST API και το επίσημο xai-sdk (client.batch.*· το Batch API της xAI δεν χρησιμοποιεί τη μορφή της OpenAI, επομένως το SDK της OpenAI δεν εφαρμόζεται), και το Responses API υπερισχύει του Chat Completions, το οποίο αποτελεί legacy endpoint στην xAI. Πηγές: Batch API · Αναφορά REST · Τιμολόγηση Batch.

Περιορισμοί που πρέπει να γνωρίζετε

Το Batch API επιβάλλει τεχνικούς περιορισμούς που πρέπει να λάβετε υπόψη στην αρχιτεκτονική σας. Η αγνόησή τους οδηγεί σε απορρίψεις, ακυρώσεις παρτίδων ή απώλεια αποτελεσμάτων. Αυτό το μάθημα συνοψίζει τους περιορισμούς που τεκμηριώνονται από την xAI και τις βέλτιστες πρακτικές για χρήση σε παραγωγή.

Όρια ρυθμού

ΠεριορισμόςΤιμήΕμβέλεια
Δημιουργία παρτίδας2 ανά δευτερόλεπτοΑνά ομάδα
Αριθμός παρτίδωνΑπεριόριστοςΑνά ομάδα
Κλήσεις προσθήκης αιτημάτων1.000 ανά 30 δευτερόλεπταΟλισθαίνον παράθυρο, κοινό για όλες τις παρτίδες της ομάδας
Μέγεθος αιτήματος25 MBΑνά μεμονωμένο αίτημα
Αιτήματα ανά παρτίδαΘεωρητικά απεριόρισταΠάνω από 100.000, η επεξεργασία ενδέχεται να είναι πιο αργή

Δημιουργία παρτίδας: το όριο των 2 δημιουργιών ανά δευτερόλεπτο σπάνια αποτελεί πρόβλημα, καθώς συνήθως δημιουργείτε μία παρτίδα ανά λειτουργία.

Προσθήκη αιτημάτων: το όριο ισχύει για τις κλήσεις και κάθε κλήση μεταφέρει μια λίστα αιτημάτων. Με τμήματα (chunks) 100 αιτημάτων, αυτό επιτρέπει ήδη περισσότερα από 3.000 αιτήματα ανά δευτερόλεπτο.

Μέγεθος αιτήματος: το όριο των 25 MB επηρεάζει κυρίως τα αιτήματα που φορτώνονται με εικόνες κωδικοποιημένες σε base64· ένα αίτημα κειμένου σπάνια ξεπερνά μερικά kilobytes.

Αντιθέτως, τα αιτήματα παρτίδας δεν υπολογίζονται στα όρια ρυθμού του API πραγματικού χρόνου: μια μεγάλη παρτίδα δεν επιβραδύνει την διαδραστική εφαρμογή σας.

Όρια αρχείων JSONL

ΠεριορισμόςΤιμή
Αιτήματα ανά αρχείο50.000 μέγιστο
Μέγεθος αρχείου200 MB μέγιστο
Προσθήκες μετά τη δημιουργίαΔεν είναι δυνατές: η παρτίδα σφραγίζεται

Εάν η παρτίδα σας υπερβαίνει αυτά τα όρια, χωρίστε την σε πολλά αρχεία και δημιουργήστε μία παρτίδα ανά αρχείο· θα συγκεντρώσετε τα αποτελέσματα στη συνέχεια.

Λήξη URL

Τα υπογεγραμμένα URL για αποτελέσματα εικόνων και βίντεο λήγουν μετά από μία ώρα. Αυτός είναι ο πιο κρίσιμος περιορισμός που πρέπει να διαχειριστείτε στην παραγωγή: η διαδικασία ανάκτησής σας πρέπει να κατεβάζει τα πολυμέσα αμέσως, χωρίς χειροκίνητη παρέμβαση (η συνάρτηση telecharger_medias από το μάθημα 9). Για την παρτίδα, παρακολουθείτε επίσης το expire_time, μετά το οποίο δεν είναι προσβάσιμα αποτελέσματα.

Βέλτιστες πρακτικές για παραγωγή

Ντετερμινιστικά IDs

Παράγετε τα IDs των αιτημάτων σας (batch_request_id, ή custom_id στο JSONL) από τα δεδομένα εισόδου σας. Εάν χρειαστεί να υποβάλετε εκ νέου μια παρτίδα, τα ίδια δεδομένα θα παράγουν τα ίδια IDs, γεγονός που διευκολύνει την αποδιπλασιασμό:

import hashlib


def identifiant_requete(document_id: str, operation: str) -> str:
    """Generates a deterministic request ID."""
    brut = f"{document_id}:{operation}"
    return hashlib.sha256(brut.encode()).hexdigest()[:16]

Διαχείριση μερικών αποτυχιών

Μια πλήρως επεξεργασμένη παρτίδα μπορεί ακόμα να περιέχει αποτυχημένα αιτήματα. Ελέγχετε πάντα κάθε αποτέλεσμα:

reussies, echouees = [], []
jeton = None
while True:
    page = client.batch.list_batch_results(
        batch_id=batch_id, limit=1000, pagination_token=jeton
    )
    reussies.extend(page.succeeded)
    echouees.extend(page.failed)
    if page.pagination_token is None:
        break
    jeton = page.pagination_token

if echouees:
    print(f"{len(echouees)} failed requests to resubmit in a new batch")

Παρακολούθηση κόστους

Κάθε παρτίδα παρακολουθεί το συνολικό της κόστος σε ticks (δέκα δισεκατομμυριοστά του δολαρίου):

batch = client.batch.get(batch_id=batch_id)
print("Total cost: %.4f $" % (batch.cost_breakdown.total_cost_usd_ticks / 1e10))

Μέσω του REST API, το κόστος κάθε αιτήματος κειμένου εμφανίζεται στο αποτέλεσμά του, στο πεδίο usage.cost_in_usd_ticks.

Καταγραφές και ιχνηλασιμότητα

Καταγράφετε κάθε λειτουργία ώστε να μπορείτε να διαγιγνώσκετε προβλήματα:

import logging

logger = logging.getLogger("batch_api")

logger.info("Batch created: %s", batch_id)
logger.info("File uploaded: %s, %d requests", file_id, len(documents))
logger.info("Results: %d succeeded, %d failed", len(reussies), len(echouees))

Επαναληπτική προσπάθεια με backoff

Για παροδικά σφάλματα (λήξη χρονικού ορίου, όριο ρυθμού, σφάλμα διακομιστή), κάνετε επαναληπτική προσπάθεια με αυξανόμενη καθυστέρηση:

import time


def appel_avec_retry(fonction, max_essais=3):
    for essai in range(max_essais):
        try:
            return fonction()
        except Exception as e:
            if essai == max_essais - 1:
                raise
            attente = 2 ** essai
            print(f"Retrying in {attente} s: {e}")
            time.sleep(attente)

Λίστα ελέγχου προ-παραγωγής

Πριν αναπτύξετε έναν αγωγό Batch API σε παραγωγή, ελέγξτε:

  • Το μοντέλο δέχεται επεξεργασία παρτίδας και εμφανίζεται στη λίστα των μοντέλων με έκπτωση εάν το κόστος έχει σημασία
  • Τα IDs των αιτημάτων είναι μοναδικά και ντετερμινιστικά
  • Το αρχείο JSONL επικυρώνεται πριν τη μεταφόρτωση (μία μη έγκυρη γραμμή ακυρώνει την παρτίδα)
  • Η λήψη πολυτροπικών αποτελεσμάτων αυτοματοποιείται, εντός μίας ώρας
  • Οι μερικές αποτυχίες εντοπίζονται και υποβάλλονται εκ νέου σε νέα παρτίδα
  • Τα αποτελέσματα ανακτώνται πριν από το expire_time
  • Οι καταγραφές καλύπτουν κάθε βήμα της ροής εργασίας
  • Το κλειδί API διαβάζεται από μεταβλητή περιβάλλοντος, ποτέ σκληροκωδικοποιημένο

Βασικά σημεία

  • Όρια: 2 δημιουργίες ανά δευτερόλεπτο, 1.000 κλήσεις προσθήκης αιτημάτων ανά 30 δευτερόλεπτα, 25 MB ανά αίτημα
  • Αρχεία JSONL: 50.000 αιτήματα και 200 MB μέγιστο, μία παρτίδα ανά αρχείο
  • Τα URL εικόνων και βίντεο λήγουν σε μία ώρα: κατεβάστε τα αμέσως
  • Ντετερμινιστικά IDs, έλεγχος κάθε αποτελέσματος, παρακολούθηση κόστους σε ticks
  • Καταγραφές, επαναληπτική προσπάθεια με backoff και μέγιστο χρονικό όριο για παραγωγή

Δοκιμάστε τις γνώσεις σας

Επεξεργασία μεγάλου όγκου: το Batch API χωρίς γκρίζες ζώνες.

1. Πότε είναι η σωστή επιλογή το Batch API;

Απάντηση: Για μεγάλους όγκους χωρίς περιορισμούς πραγματικού χρόνου: ταξινόμηση, εμπλουτισμός, αξιολογήσεις, μαζική δημιουργία. Τα αιτήματα παρτίδας δεν υπολογίζονται στα όρια ρυθμού και τα eligible μοντέλα κειμένου λαμβάνουν έκπτωση 20%.

2. Ποια είναι η ροή εργασίας τεσσάρων βημάτων;

Απάντηση: Δημιουργήστε μια ονομασμένη παρτίδα, προσθέστε αιτήματα σε αυτήν (μέσω του API, ή δημιουργώντας την παρτίδα από ένα μεταφορτωμένο αρχείο JSONL), παρακολουθήστε τους μετρητές της και, στη συνέχεια, ανακτήστε τα αποτελέσματα, καθώς έρχονται ή στο τέλος. Η επεξεργασία ξεκινά από μόνη της, χωρίς βήμα εκκίνησης.

3. Τι μπορείτε να βάλετε σε μια παρτίδα;

Απάντηση: Αιτήματα Responses (συνιστάται) και Chat Completions (legacy), με εργαλεία διακομιστή και κλήση συναρτήσεων, καθώς και δημιουργίες και επεξεργασίες εικόνων και βίντεο, και επεκτάσεις βίντεο. Μόνο τα tokens κειμένου για eligible μοντέλα λαμβάνουν την έκπτωση.

4. Πώς παρακολουθείτε την εκτέλεση;

Απάντηση: Μέσω των μετρητών παρτίδας (num_pending, num_success, num_error…), της κατάστασης κάθε αιτήματος (pending, succeeded, failed, cancelled) και των σελιδοποιημένων αποτελεσμάτων, τα οποία διαχωρίζουν τις επιτυχίες από τις αποτυχίες. Η παρτίδα έχει επεξεργαστεί πλήρως όταν το num_pending είναι μηδέν.

5. Ποιες βέλτιστες πρακτικές ισχύουν για τα όρια;

Απάντηση: Προσθέστε αιτήματα σε τμήματα, χωρίστε μεγάλα αρχεία σε μία παρτίδα ανά αρχείο, κατεβάστε πολυμέσα εντός μίας ώρας, ανακτήστε αποτελέσματα πριν από το expire_time και υποβάλετε εκ νέου τις αποτυχίες σε νέα παρτίδα: σχεδιάστε την παρτίδα ως έναν εύρωστο αγωγό, όχι ως τυφλή μαζική υποβολή.

Καλά δομημένες παρτίδες, παρακολουθούμενοι μετρητές, επαναληπτικές προσπάθειες για αποτυχίες: το Batch API μετατρέπει τον όγκο σε ρουτίνα, με το βέλτιστο κόστος.