Δημιουργία Batch Job, Παρακολούθηση Κατάστασης και Λήψη Αποτελεσμάτων
Σε αυτήν τη σελίδα
Ενημερώθηκε στις 3 Νοεμβρίου 2026: Προσθήκη για τις 3 Νοεμβρίου: Το
files.downloadεπιστρέφει μια απόκριση HTTP (httpx2.Response); διαβάστε το περιεχόμενό του με.read()πριν καλέσετε το.decode(). Το upload αναμένειfile={"file_name": …, "content": …}. Το κλειδί API δεν είναι πλέον σκληρά κωδικοποιημένο.
Από αρχείο JSONL στα Αποτελέσματα: Ο Πλήρης Κύκλος Ζωής
Το αρχείο JSONL σας είναι έτοιμο και μεταφορτωμένο, και διαθέτετε ένα file_id. Το επόμενο βήμα είναι η μετατροπή αυτού του αδρανούς αρχείου σε usable αποτελέσματα: δημιουργήστε τη batch job, παρακολουθήστε την πρόοδό της κατά τη διάρκεια των λεπτών ή ωρών που απαιτούνται για την επεξεργασία και, στη συνέχεια, ανακτήστε και συσχετίστε τις απαντήσεις. Αυτό το μάθημα παρουσιάζει τον κώδικα Python από άκρη σε άκρη, με την ακριβή σειρά που θα τον γράψετε.
Δημιουργία Batch Job
Η δημιουργία απαιτεί μία και μοναδική κλήση. Καθορίζετε το αρχείο προέλευσης, το μοντέλο και το endpoint προορισμού:
from mistralai.client import Mistral
import time
client = Mistral(api_key="your-api-key")
# Create the batch job
job = client.batch.jobs.create(
input_files=[batch_file.id], # ID of the uploaded file
model="mistral-small-latest",
endpoint="/v1/chat/completions",
metadata={"project": "document-analysis", "version": "1.0"}
)
print(f"Job created: {job.id}")
print(f"Initial status: {job.status}")
Κάθε παράμετρος αξίζει μια σημείωση:
input_files— Μια λίστα με IDs μεταφορτωμένων αρχείων. Μπορείτε να περάσετε πολλαπλά αρχεία σε μία μόνο job.model— Το μοντέλο Mistral που θα χρησιμοποιηθεί. Μόνο ένα μοντέλο ανά batch job.endpoint— Το target API endpoint (πρέπει να ταιριάζει με τη μορφήbodyστο JSONL σας).metadata— Ένα προαιρετικό λεξικό με προσαρμοσμένα μεταδεδομένα για την οργάνωση και την ανάκτηση των jobs σας.
Ο περιορισμός του ενός μοντέλου ανά job δομεί τον τρόπο με τον οποίο διαιρείτε την εργασία σας: αν θέλετε να συγκρίνετε δύο μοντέλα στο ίδιο corpus, υποβάλετε δύο διακριτές jobs που δείχνουν στο ίδιο αρχείο. Όσον αφορά τα μεταδεδομένα, μπορεί να φαίνονται δευτερεύοντα μέχρι να έχετε τριάντα jobs στο ιστορικό σας· τότε, το ζεύγος project/version που φαίνεται παραπάνω σας επιτρέπει να βρείτε το batch που παρήγαγε αμφισβητήσιμα δεδομένα σε τρία δευτερόλεπτα ακριβώς.
Καταστάσεις Batch Job
Μια batch job διέρχεται από διάφορες καταστάσεις κατά τη διάρκεια του κύκλου ζωής της:
| Κατάσταση | Περιγραφή |
|---|---|
QUEUED | Σε ουρά, δεν έχει ξεκινήσει ακόμα |
RUNNING | Η επεξεργασία είναι σε εξέλιξη |
SUCCESS | Ολοκληρώθηκε επιτυχώς |
FAILED | Η επεξεργασία απέτυχε |
TIMEOUT_EXCEEDED | Υπερβάθηκε το χρονικό όριο εκτέλεσης |
CANCELLATION_REQUESTED | Ζητήθηκε ακύρωση |
CANCELLED | Ακυρώθηκε |
Τέσσερις από αυτές τις επτά καταστάσεις είναι τερματικές—SUCCESS, FAILED, TIMEOUT_EXCEEDED και CANCELLED—και αυτή η διάκριση καθοδηγεί τον βρόχο παρακολούθησης: όσο η κατάσταση δεν βρίσκεται σε αυτό το σύνολο, η job είναι ακόμα ενεργή και πρέπει να περιμένετε. Η CANCELLATION_REQUESTED, ειδικότερα, δεν είναι μια κατάσταση διακοπής αλλά μια μεταβατική· κώδικας που την αντιμετωπίζει ως τερματική θα exited τον βρόχο πολύ νωρίς.
Παρακολούθηση Προόδου
Το παρακάτω μοτίβο polling ενσωματώνει ακριβώς αυτή τη λογική, με ένα όριο μέγιστης διάρκειας για να αποφευχθεί η ατέρμονη εκτέλεση ενός ξεχασμένου script:
def wait_for_batch(client, job_id, poll_interval=10, max_wait=3600):
"""Wait for a batch job to complete using polling."""
elapsed = 0
terminal_states = {"SUCCESS", "FAILED", "TIMEOUT_EXCEEDED", "CANCELLED"}
while elapsed < max_wait:
job = client.batch.jobs.get(job_id=job_id)
print(f"[{elapsed}s] Status: {job.status}")
if job.status in terminal_states:
return job
time.sleep(poll_interval)
elapsed += poll_interval
raise TimeoutError(f"Job {job_id} still running after {max_wait}s")
# Usage
completed_job = wait_for_batch(client, job.id)
print(f"Final result: {completed_job.status}")
Ένα διάστημα δέκα δευτερολέπτων λειτουργεί για ένα batch που διαρκεί λίγα λεπτά· για μια εκτέλεση όλη τη νύχτα που επεξεργάζεται αρκετές εκατοντάδες χιλιάδες γραμμές, αυξήστε το σε ένα λεπτό ή περισσότερο. Μεγαλύτερη ακρίβεια στο polling δεν προσφέρει αξία εκεί και μόνο συσσωρεύει περιττές κλήσεις API.
Λήψη Αποτελεσμάτων
Μόλις η κατάσταση φτάσει στο SUCCESS, η job εκθέτει ένα output_file που κατεβάζετε και αναλύετε γραμμή προς γραμμή:
import json
if completed_job.status == "SUCCESS":
# Get the output file ID
output_file_id = completed_job.output_file
# Download the content
result_data = client.files.download(file_id=output_file_id)
# Parse JSONL results
results = {}
for line in result_data.read().decode("utf-8").strip().split("\n"):
entry = json.loads(line)
custom_id = entry["custom_id"]
response = entry["response"]
results[custom_id] = response
# Show an example
for cid, resp in list(results.items())[:3]:
content = resp["body"]["choices"][0]["message"]["content"]
print(f"\n--- {cid} ---")
print(content[:200])
Το αρχείο αποτελεσμάτων είναι επίσης σε μορφή JSONL και κάθε γραμμή φέρει το αρχικό custom_id μαζί με την πλήρη απάντηση του μοντέλου. Εδώ αποδίδεται η προσπάθεια ονοματοδοσίας από το προηγούμενο μάθημα: η ευρετηρίαση με custom_id σε ένα λεξικό αρκεί για να συσχετίσετε τις απαντήσεις με τα έγγραφα προέλευσής σας, ανεξάρτητα από τη σειρά με την οποία επιστρέφουν. Η εμφάνιση των τριών πρώτων καταχωρήσεων περικομμένων στους 200 χαρακτήρες αποτελεί έναν χρήσιμο έλεγχο υγείας πριν αρχίσετε να γράφετε στη βάση δεδομένων σας.
Λίστα και Διαχείριση των Jobs σας
Μπορείτε να φιλτράρετε το απόθεμα jobs κατά κατάσταση, επιτρέποντάς σας να δείτε ανά πάσα στιγμή τι εκτελείται πραγματικά στον λογαριασμό σας:
# List all currently running jobs
running_jobs = client.batch.jobs.list(status="RUNNING")
for j in running_jobs.data:
print(f"Job {j.id} - Model: {j.model} - Created: {j.created_at}")
Και όταν μια job καθυστερεί υπερβολικά ή εντοπίσετε σφάλμα στο prompt μετά την υποβολή, η ακύρωση αποφεύγει την πληρωμή για άχρηστη επεξεργασία:
# Cancel a job that is taking too long
client.batch.jobs.cancel(job_id="job-abc123")
Η ακύρωση είναι ασύγχρονη: η κατάσταση μεταβαίνει πρώτα σε CANCELLATION_REQUESTED και μετά σε CANCELLED μόλις η διακοπή καταστεί ενεργή. Μην θεωρείτε ότι ο πόρος απελευθερώνεται αμέσως μόλις επιστρέψει η κλήση.
Ροή Εργασίας από Άκρη σε Άκρη
Συναρμολογημένα, αυτά τα τέσσερα βήματα σχηματίζουν ένα σύντομο script που μπορείτε να τοποθετήσετε απευθείας σε έναν χρονοπρογραμματιστή:
from mistralai.client import Mistral
import json
import os
import time
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# 1. Upload the file
with open("batch_requests.jsonl", "rb") as f:
batch_file = client.files.upload(
file={"file_name": "batch_requests.jsonl", "content": f},
purpose="batch"
)
# 2. Create the job
job = client.batch.jobs.create(
input_files=[batch_file.id],
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
# 3. Wait for completion
completed = wait_for_batch(client, job.id)
# 4. Download and parse results
if completed.status == "SUCCESS":
data = client.files.download(file_id=completed.output_file)
for line in data.read().decode("utf-8").strip().split("\n"):
entry = json.loads(line)
print(f"{entry['custom_id']}: OK")
else:
print(f"Batch failed: {completed.status}")
Επαναχρησιμοποιήστε αυτόν τον σκελετό στο δικό σας corpus με μόλις δέκα γραμμές: θα επικυρώσετε ολόκληρη την αλυσίδα σε λίγα λεπτά πριν δεσμευτείτε στον πλήρη όγκο.
Βασικά σημεία
- Δημιουργήστε μια batch job με
client.batch.jobs.create()καθορίζοντας το αρχείο, το μοντέλο και το endpoint - Επτά πιθανές καταστάσεις, συμπεριλαμβανομένων τριών τερματικών:
SUCCESS,FAILED,CANCELLED - Το polling με διάστημα είναι το πρότυπο μοτίβο για την παρακολούθηση της προόδου
- Τα αποτελέσματα είναι σε μορφή JSONL, συνδεδεμένα με τα αιτήματα μέσω
custom_id - Μπορείτε νααπαριθμείτε, να επιθεωρήσετε και να ακυρώσετε τις jobs σας ανά πάσα στιγμή