Η πρώτη σας κλήση API σε Python
Σε αυτήν τη σελίδα
Η πρώτη σας συνομιλία με ένα μοντέλο Mistral
Το SDK είναι εγκατεστημένο και το κλειδί API σας είναι έτοιμο: ήρθε η ώρα να στείλετε ένα πραγματικό αίτημα και, το σημαντικότερο, να κατανοήσετε τι επιστρέφεται. Πολλοί προγραμματιστές σταματούν στην πρώτη γραμμή της απάντησης και αγνοούν το υπόλοιπο αντικείμενο που επιστρέφεται. Αυτό είναι λάθος, διότι η παρακολούθηση του κόστους και η διάγνωση περικομμένων απαντήσεων βρίσκονται ακριβώς σε αυτά τα υπόλοιπα δεδομένα. Θα ξεκινήσουμε με ελάχιστο κώδικα και θα προχωρήσουμε σταδιακά προς την πλήρη δομή.
Αρχικοποίηση του Πελάτη (Client)
Ο πελάτης είναι το σημείο εισόδου για όλες τις αλληλεπιδράσεις σας με το API:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
Διαχειρίζεται τις συνδέσεις HTTP, τις επαναλήψεις σε περίπτωση σφαλμάτων δικτύου και τη σειριοποίηση των αιτημάτων. Δημιουργήστε το στιγμιότυπό του μία φορά κατά την εκκίνηση της εφαρμογής. Η επαναδημιουργία ενός πελάτη για κάθε κλήση σας αναγκάζει να πληρώνετε περιττά για τη ρύθμιση της σύνδεσης και αποτελεί μία από τις πιο ύπουλες αιτίες υπερβολικής καθυστέρησης.
Αποστολή Αιτήματος με το chat.complete()
Θα χρησιμοποιείτε τη μέθοδο chat.complete() τις περισσότερες φορές. Στέλνει τα μηνύματά σας και περιμένει την πλήρη απάντηση του μοντέλου πριν επιστρέψει τον έλεγχο:
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": "Explain the concept of tokenization in three sentences."
}
]
)
print(response.choices[0].message.content)
Δύο παράμετροι αρκούν εδώ. Το model καθορίζει το αναγνωριστικό του μοντέλου: το mistral-small-latest δείχνει πάντα στην τελευταία έκδοση του Mistral Small, καθιστώντας το τη φυσική επιλογή για να ξεκινήσετε, καθώς είναι γρήγορο και οικονομικό. Το messages αναμένει μια λίστα δομημένων μηνυμάτων, καθένα με έναν role—system, user ή assistant—και ένα πεδίο content που περιέχει το κείμενο. Αυτή η δομή μπορεί να φαίνεται βαριά για μια απλή ερώτηση, αλλά αποκτά απόλυτο νόημα μόλις φτάσετε στο μάθημα για τις συνομιλίες πολλαπλών γύρων.
Ανάγνωση του Αντικειμένου Επιστροφής
Το αντικείμενο response περιέχει πολύ περισσότερα από το απλώς παραγόμενο κείμενο:
# Κείμενο απάντησης
text = response.choices[0].message.content
# Ρόλος (πάντα "assistant" για μια απάντηση)
role = response.choices[0].message.role
# Λόγος διακοπής
finish = response.choices[0].finish_reason # "stop", "length", κ.λπ.
# Στατιστικά tokens
input_tokens = response.usage.prompt_tokens
output_tokens = response.usage.completion_tokens
total_tokens = response.usage.total_tokens
print(f"Response ({output_tokens} tokens): {text}")
print(f"Total tokens consumed: {total_tokens}")
Δώστε ιδιαίτερη προσοχή στο πεδίο usage από την πρώτη μέρα. Η καταγραφή του σε κάθε κλήση σας λέει ακριβώς ποιο χαρακτηριστικό της εφαρμογής σας καταναλώνει τον προϋπολογισμό σας, χωρίς να χρειάζεται να κάνετε αντίστροφη μηχανική στον λογαριασμό σας στο τέλος του μήνα.
Όσον αφορά το finish_reason, αυτό υποδεικνύει γιατί σταμάτησε το μοντέλο και λαμβάνει μία από τις ακόλουθες τιμές:
stop: το μοντέλο ολοκλήρωσε την απάντησή του φυσικάlength: η απάντηση διακόπηκε επειδή έφτασε το όριοmax_tokensmodel_length: το συνολικό πλαίσιο (είσοδος + έξοδος) έφτασε το όριο του μοντέλου
Μια απάντηση που τελειώνει στη μέση μιας πρότασης δεν είναι σφάλμα του μοντέλου: είναι ένα finish_reason τύπου length που κανείς δεν έλεγξε. Επαληθεύστε το πάντα πριν καταλήξετε στο συμπέρασμα ότι υπάρχει θέμα ποιότητας.
Προσαρμογή της Συμπεριφοράς του Μοντέλου
Τρεις επιπλέον παράμετροι σας επιτρέπουν να κατευθύνετε τη δημιουργία:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": "Propose three names for an educational AI startup."
}
],
temperature=0.7,
max_tokens=500,
top_p=0.95,
)
Η Temperature ελέγχει τον βαθμό ελευθερίας του μοντέλου. Στο 0.0, οι απαντήσεις είναι ντετερμινιστικές: η ίδια προτροπή παράγει πάντα το ίδιο κείμενο, κάτι που θέλετε για εξαγωγή ή ταξινόμηση. Μεταξύ 0.3 και 0.5, έχετε μια καλή ισορροπία για εργασίες βασισμένες σε γεγονότα. Μεταξύ 0.7 και 1.0, οι απαντήσεις γίνονται πιο δημιουργικές και ποικίλες—αυτό είναι το εύρος που χρησιμοποιείται στο παραπάνω παράδειγμα, καθώς ζητάμε ιδέες για ονόματα και το να βλέπουμε την ίδια ιδέα τρεις φορές θα ήταν άσκοπο. Πάνω από 1.0, η δημιουργία γίνεται εξαιρετικά τυχαία και σπάνια έχει πρακτική χρησιμότητα.
Το max_tokens θέτει ένα ανώτατο όριο στο μήκος της απάντησης, το οποίο βοηθά στον έλεγχο του κόστους και διατηρεί τις εξόδους διαχειρίσιμες. Απλώς θυμηθείτε ότι αν το μοντέλο διακοπεί, το finish_reason θα είναι "length". Το top_p επηρεάζει τη διαφορετικότητα μέσω ενός διαφορετικού μηχανισμού: φιλτράρει τα λιγότερο πιθανά tokens. Μια τιμή 0.95 σημαίνει ότι το μοντέλο λαμβάνει υπόψη μόνο τα tokens που αντιπροσωπεύουν το 95% της αθροιστικής πιθανότητας.
Μια Κλήση Έτοιμη για Παραγωγή
Σε πραγματικές συνθήκες, το δίκτυο πέφτει, τα κλειδιά λήγουν και τα όρια χρήσης γεμίζουν. Να τυλίγετε πάντα τις κλήσεις σας σε χειρισμό σφαλμάτων:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
try:
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "What is the capital of France?"}
],
max_tokens=100,
)
text = response.choices[0].message.content
print(f"Response: {text}")
print(f"Tokens used: {response.usage.total_tokens}")
except Exception as e:
print(f"API call error: {e}")
Χρησιμοποιήστε αυτόν τον σκελετό για τα δικά σας πειράματα, αντικαθιστώντας απλώς το περιεχόμενο του μηνύματος. Είναι το σημείο εκκίνησης για όλα όσα ακολουθούν σε αυτό το μάθημα.
Βασικά σημεία
- Η
client.chat.complete()είναι η κύρια μέθοδος για αλληλεπίδραση με τα μοντέλα - Το κείμενο της απάντησης βρίσκεται στο
response.choices[0].message.content - Το
response.usageσας λέει πόσα tokens καταναλώθηκαν (χρήσιμο για την παρακολούθηση του κόστους) - Η
temperatureελέγχει τη δημιουργικότητα· τοmax_tokensπεριορίζει το μήκος - Ξεκινήστε με το
mistral-small-latest: είναι γρήγορο, οικονομικό και αποδοτικό