AsyncOpenAI με httpx.Timeout
Σε αυτήν τη σελίδα
Η εναλλακτική λύση του OpenAI SDK
Το εγγενές xAI SDK δεν είναι η μοναδική σας επιλογή για ασύγχρονη εργασία με το Grok API. Το OpenAI SDK, το οποίο υιοθετείται ευρέως στο οικοσύστημα της Python, λειτουργεί με το xAI API χάρη στη συμβατότητα των μορφών δεδομένων. Αυτή η προσέγγιση σάς επιτρέπει να επαναχρησιμοποιήσετε υπάρχοντα κώδικα OpenAI και να αξιοποιήσετε τα εργαλεία του γύρω οικοσυστήματος.
Διαμόρφωση του AsyncOpenAI για xAI
Η αρχικοποίηση απαιτεί τρεις παραμέτρους: το κλειδί API σας, τη βασική URL του xAI και ένα χρονικό όριο (timeout) προσαρμοσμένο για τα μοντέλα συλλογισμού:
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Η κρίσιμη λεπτομέρεια εδώ είναι το httpx.Timeout(3600.0). Το OpenAI SDK χρησιμοποιεί το httpx ως υποκείμενο πελάτη HTTP και η προεπιλεγμένη χρονική λήξη είναι 10 λεπτά. Για τα μοντέλα συλλογισμού του Grok, πρέπει να αυξήσετε αυτή την τιμή στα 3600 δευτερόλεπτα (μία ώρα) για να αποφύγετε πρόωρες αποσυνδέσεις.
Κατανόηση του httpx.Timeout
Η κλάση httpx.Timeout δέχεται αρκετές παραμέτρους που ελέγχουν διαφορετικές φάσεις της σύνδεσης:
# Ομοιόμορφο χρονικό όριο: 3600δ για τα πάντα
timeout = httpx.Timeout(3600.0)
# Λεπτομερές χρονικό όριο
timeout = httpx.Timeout(
connect=10.0, # χρονικό όριο αρχικής σύνδεσης
read=3600.0, # χρονικό όριο ανάγνωσης απόκρισης
write=30.0, # χρονικό όριο αποστολής αιτήματος
pool=10.0 # χρόνος αναμονής για ελεύθερη σύνδεση
)
Σε περιβάλλον παραγωγής, μπορείτε να βελτιστοποιήσετε αυτές τις τιμές. Η αρχική σύνδεση πρέπει να αποτυγχάνει γρήγορα εάν ο διακομιστής είναι μη προσβάσιμος (τα 10 δευτερόλεπτα αρκούν), ενώ το χρονικό όριο ανάγνωσης πρέπει να είναι αρκετά υπομονετικό για να περιμένει τον συλλογισμό του μοντέλου.
Αποστολή Αιτημάτων
Η σύνταξη ακολουθεί την τυπική μορφή του OpenAI SDK, χρησιμοποιώντας await:
import asyncio
async def query_grok(prompt: str) -> str:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))
Θα δείτε την ίδια δομή με το OpenAI API: έναν πίνακα messages με ρόλους και περιεχόμενο. Η απόκριση ακολουθεί το ίδιο σχήμα και είναι προσβάσιμη μέσω του response.choices[0].message.content.
Διαχείριση Σφαλμάτων με httpx
Το OpenAI SDK με το httpx παρέχει συγκεκριμένες εξαιρέσεις που πρέπει να χειριστείτε:
from openai import APITimeoutError, APIConnectionError, RateLimitError
async def safe_query(prompt: str) -> str | None:
try:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
except APITimeoutError:
print("Timeout exceeded—request took too long")
return None
except RateLimitError:
print("Rate limit reached—slow down requests")
return None
except APIConnectionError:
print("Cannot connect to xAI server")
return None
Οι τρεις πιο συχνές εξαιρέσεις είναι η APITimeoutError (το μοντέλο δεν απάντησε εντός του καθορισμένου χρόνου), η RateLimitError (υπερβήκατε τα όρια RPM/TPM) και η APIConnectionError (ζήτημα δικτύου).
Πότε να επιλέξετε το AsyncOpenAI αντί για το xAI SDK
Το OpenAI SDK είναι προτιμότερο εάν διαθέτετε ήδη μια βάση κώδικα OpenAI, χρησιμοποιείτε εργαλεία τρίτων συμβατά με το OpenAI (LangChain, LiteLLM) ή θέλετε να εναλλάσσεστε μεταξύ παρόχων χωρίς να τροποποιείτε τον κώδικά σας. Το εγγενές xAI SDK, ωστόσο, προσφέρει πιο άμεση πρόσβαση σε λειτουργίες ειδικές για το Grok, όπως τα ενσωματωμένα εργαλεία.
Βασικά σημεία
- Το
AsyncOpenAIλειτουργεί με το xAI API μέσωbase_url="https://api.x.ai/v1" - Το
httpx.Timeout(3600.0)είναι απαραίτητο για τα μοντέλα συλλογισμού - Η μορφή αιτήματος και απόκρισης είναι πανομοιότυπη με το τυπικό OpenAI API
- Οι εξαιρέσεις
APITimeoutError,RateLimitErrorκαιAPIConnectionErrorκαλύπτουν τις κύριες περιπτώσεις σφαλμάτων - Αυτή η επιλογή είναι ιδανική για επαναχρησιμοποίηση υπάρχοντος κώδικα ή ενσωμάτωση εργαλείων τρίτων συμβατών με το OpenAI