Ομαδοποίηση Inline: Έως 10.000 Αιτήματα Χωρίς Αρχείο
Σε αυτήν τη σελίδα
Ενημερώθηκε στις 3 Νοεμβρίου 2026: Ενημέρωση 3 Νοεμβρίου: Η μέθοδος
files.downloadεπιστρέφει μια απόκριση HTTP (httpx2.Response); διαβάστε το περιεχόμενό της με.read()πριν καλέσετε τη.decode().
Η Ελαφριά Εναλλακτική στην Ομαδοποίηση με Αρχεία
Η ομαδοποίηση inline σας επιτρέπει να υποβάλετε αιτήματα batch απευθείας στην κλήση API, παρακάμπτοντας το βήμα της μεταφόρτωσης αρχείου. Αυτή είναι η ιδανική μέθοδος όταν έχετε μέτριο όγκο αιτημάτων (έως 10.000) και θέλετε να απλοποιήσετε τη ροή εργασίας σας.
Ομαδοποίηση με Αρχεία vs Ομαδοποίηση Inline
Πριν προχωρήσουμε στον κώδικα, ας διευκρινίσουμε τις διαφορές μεταξύ των δύο προσεγγίσεων:
| Κριτήριο | Ομαδοποίηση με Αρχεία | Ομαδοποίηση Inline |
|---|---|---|
| Μέγιστος όγκος | 1.000.000 αιτήματα | 10.000 αιτήματα |
| Προαπαιτούμενα | Μεταφόρτωση αρχείου JSONL | Κανένα |
| Βήματα | Μεταφόρτωση + Δημιουργία Εργασίας | Δημιουργία Εργασίας (μία κλήση) |
| Περιπτώσεις χρήσης | Παραγωγή, μεγάλοι όγκοι | Δοκιμές, πρωτοτυποποίηση, μεσαίοι όγκοι |
Δημιουργία μιας Εργασίας Inline
Αντί να περάσετε την παράμετρο input_files, περνάτε την παράμετρο requests που περιέχει απευθείας τη λίστα των αιτημάτων σας:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Προετοιμασία inline αιτημάτων
inline_requests = [
{
"custom_id": f"req-{i:04d}",
"body": {
"max_tokens": 150,
"messages": [
{
"role": "system",
"content": "You are a text classification expert."
},
{
"role": "user",
"content": f"Classify this text: {text}"
}
]
}
}
for i, text in enumerate(my_texts)
]
# Δημιουργία της εργασίας με inline αιτήματα
job = client.batch.jobs.create(
requests=inline_requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
print(f"Inline job created: {job.id}")
print(f"Number of requests: {len(inline_requests)}")
Η διαφορά στον κώδικα είναι ελάχιστη: requests= αντί για input_files=. Το υπόλοιπο της ροής εργασίας (παρακολούθηση κατάστασης, λήψη αποτελεσμάτων) παραμένει ίδιο.
Πρακτικό Παράδειγμα: Κατηγοριοποίηση Εισιτηρίων Υποστήριξης
Ακολουθεί ένα πλήρες παράδειγμα κατηγοριοποίησης εισιτηρίων υποστήριξης πελατών:
from mistralai.client import Mistral
import json
import time
client = Mistral(api_key="your-api-key")
# Προσομοίωση εισιτηρίων υποστήριξης
tickets = [
{"id": "TK-001", "message": "I cannot log in to my account"},
{"id": "TK-002", "message": "How do I cancel my subscription?"},
{"id": "TK-003", "message": "The app crashes on startup"},
{"id": "TK-004", "message": "Can you add dark mode?"},
{"id": "TK-005", "message": "My invoice is incorrect"},
]
# Δημιουργία inline αιτημάτων
requests = [
{
"custom_id": ticket["id"],
"body": {
"max_tokens": 50,
"messages": [
{
"role": "system",
"content": (
"Classify the ticket into one of these categories: "
"AUTHENTICATION, BILLING, BUG, "
"FEATURE, SUBSCRIPTION. "
"Reply with the category only."
)
},
{"role": "user", "content": ticket["message"]}
]
}
}
for ticket in tickets
]
# Εκκίνηση του inline batch
job = client.batch.jobs.create(
requests=requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
# Αναμονή και λήψη αποτελεσμάτων
while True:
status = client.batch.jobs.get(job_id=job.id)
if status.status in ("SUCCESS", "FAILED", "CANCELLED"):
break
time.sleep(5)
# Ανάλυση αποτελεσμάτων
if status.status == "SUCCESS":
data = client.files.download(file_id=status.output_file)
for line in data.read().decode("utf-8").strip().split("\n"):
entry = json.loads(line)
ticket_id = entry["custom_id"]
category = entry["response"]["body"]["choices"][0]["message"]["content"]
print(f"{ticket_id} -> {category.strip()}")
Πότε να Επιλέξετε Κάθε Προσέγγιση
Ο καθοριστικός παράγοντας δεν είναι μόνο ο όγκος, αλλά το πώς η ομαδοποίηση εντάσσεται στη ροή εργασίας σας. Κατά τη φάση της πρωτοτυποποίησης, δοκιμάζετε ένα prompt σε μερικές εκατοντάδες παραδείγματα, το βελτιώνετε και το εκτελείτε ξανά. Η εγγραφή ενός ενδιάμεσου αρχείου JSONL σε κάθε επανάληψη επιβραδύνει απλώς τον κύκλο. Η ομαδοποίηση inline εξαλείφει αυτή την τριβή: το σενάριό σας δημιουργεί αιτήματα εν κινήσει, τα υποβάλλει στην ίδια κλήση και εσείς επαναλαμβάνετε τη διαδικασία σε λεπτά. Η ίδια λογική ισχύει για ελαφριές ενσωματώσεις, σενάρια ανάλυσης μίας χρήσης ή καθημερινή επεξεργασία που παραμένει κάτω από 10.000 αιτήματα.
Η ομαδοποίηση με αρχεία αναλαμβάνει την πρωτοκαθεδρία μόλις η ομαδοποίηση γίνει κρίκος στην αλυσίδα παραγωγής. Πρώτον, μηχανικά: πέραν των 10.000 αιτημάτων, είναι η μοναδική επιλογή. Αλλά κυρίως, δομικά: ένα μεταφορτωμένο αρχείο είναι ένα διαρκές αντικείμενο. Μπορείτε να το επαναχρησιμοποιήσετε για πολλαπλές εργασίες, να το διατηρήσετε ως αρχείο του ακριβούς περιεχομένου που υποβλήθηκε και να διαχωρίσετε καθαρά το βήμα προετοιμασίας (το οποίο δημιουργεί, επικυρώνει και εκδίδει εκδόσεις του αρχείου) από το βήμα εκτέλεσης (το οποίο εκκινεί την εργασία). Όταν μια εργασία batch εκτελείται κάθε βράδυ σε δεδομένα πελατών, αυτή η ιχνηλασιμότητα δεν είναι πολυτέλεια· είναι αυτό που σας επιτρέπει να απαντήσετε στην ερώτηση «Τι στείλαμε στο μοντέλο στις 12 Μαρτίου;» έξι μήνες αργότερα.
Στην πράξη, πολλές ομάδες χρησιμοποιούν και τις δύο μεθόδους: inline κατά την ανάπτυξη των prompts και στη συνέχεια μετάβαση σε ομαδοποίηση με αρχεία κατά τη βιομηχανοποίηση. Δεδομένου ότι ο κώδικας για την παρακολούθηση και τη λήψη αποτελεσμάτων παραμένει ίδιος, η μετανάστευση περιορίζεται στην αντικατάσταση του requests= με input_files=.
Βασικά σημεία
- Η ομαδοποίηση inline καταργεί το βήμα μεταφόρτωσης περνώντας τα αιτήματα απευθείας μέσω της παραμέτρου
requests - Όριο 10.000 αιτημάτων ανά εργασία inline, έναντι 1 εκατομμυρίου για την ομαδοποίηση με αρχεία
- Η παρακολούθηση κατάστασης και η λήψη αποτελεσμάτων είναι ίδιες και για τους δύο τρόπους
- Προτιμήστε την inline για πρωτοτυποποίηση και μέτριους όγκους· χρησιμοποιήστε την ομαδοποίηση με αρχεία για παραγωγή μεγάλης κλίμακας