Cache x-grok-conv-id και Χρονικό Όριο Συλλογισμού
Σε αυτήν τη σελίδα
Βελτιστοποίηση Κόστους με Caching
Κάθε αίτημα που στέλνετε στο API της xAI χρεώνεται με την τυπική τιμή ανά token. Ωστόσο, όταν στέλνετε πολλαπλά συσχετιζόμενα αιτήματα (ίδια συνομιλία, ίδιο θέμα), μέρος του συμφραζόμενου επαναλαμβάνεται. Η κεφαλίδα x-grok-conv-id επιτρέπει στην xAI να αναγνωρίζει αυτά τα συσχετιζόμενα αιτήματα και να αυξάνει το ποσοστό επιτυχίας της προσωρινής μνήμης (cache hit rate), μειώνοντας έτσι το κόστος σας.
Η Κεφαλίδα x-grok-conv-id
Για να ενεργοποιήσετε την προσωρινή αποθήκευση συνομιλίας, προσθέστε μια προσαρμοσμένη κεφαλίδα με ένα μοναδικό UUID v4 ανά συνομιλία:
import uuid
conversation_id = str(uuid.uuid4())
# With the OpenAI SDK
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}],
extra_headers={
"x-grok-conv-id": conversation_id
}
)
Όλα τα αιτήματα που μοιράζονται το ίδιο x-grok-conv-id επωφελούνται από βελτιωμένο ποσοστό επιτυχίας cache. Τα tokens στην προσωρινή μνήμη χρεώνονται με μειωμένο επιτόκιο σε σύγκριση με τα τυπικά tokens.
Κανόνες Χρήσης
- Δημιουργήστε ένα νέο UUID για κάθε συνομιλία ή λογική συνεδρία
- Επαναχρησιμοποιήστε το ίδιο UUID για όλα τα αιτήματα εντός της ίδιας συνομιλίας
- Μην επαναχρησιμοποιείτε ένα UUID σε διαφορετικές συνομιλίες (αυτό υποβαθμίζει το caching)
# Pattern for a chatbot
class ConversationManager:
def __init__(self):
self.conv_id = str(uuid.uuid4())
self.messages = []
async def send(self, user_message: str) -> str:
self.messages.append({"role": "user", "content": user_message})
response = await client.chat.completions.create(
model="grok-4.5",
messages=self.messages,
extra_headers={"x-grok-conv-id": self.conv_id}
)
assistant_message = response.choices[0].message.content
self.messages.append({"role": "assistant", "content": assistant_message})
return assistant_message
Χρονικό Όριο 3600 Δευτερολέπτων για Συλλογισμό
Τα μοντέλα συλλογισμού (grok-4.20-0309-reasoning και παρόμοια) εκτελούν εσωτερικό συλλογισμό πριν απαντήσουν. Αυτός ο συλλογισμός μπορεί να διαρκέσει αρκετά λεπτά για πολύπλοκα προβλήματα. Το προεπιλεγμένο χρονικό όριο για τους περισσότερους πελάτες HTTP (30-120 δευτερόλεπτα) είναι ανεπαρκές.
# Correct configuration for reasoning
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(
connect=10.0, # fast connection
read=3600.0, # 1 hour for read
write=30.0, # prompt submission
pool=10.0 # connection wait
)
)
Η τιμή read=3600.0 είναι η κρίσιμη παράμετρος. Αυτή αντιπροσωπεύει τη μέγιστη καθυστέρηση μεταξύ της στιγμής που ο διακομιστής αρχίζει να επεξεργάζεται το αίτημά σας και της στιγμής που λαμβάνετε την απάντηση. Για ένα μοντέλο συλλογισμού που σκέφτεται για 5 λεπτά, χρειάζεστε αυτό το περιθώριο ασφαλείας.
Πότε να Μειώσετε το Χρονικό Όριο
Το χρονικό όριο των 3600 δευτερολέπτων δεν είναι πάντα απαραίτητο:
- grok-4.5 (μη συλλογισμού): ένα χρονικό όριο 120-300 δευτερολέπτων είναι συνήθως επαρκές
- Απλά αιτήματα: ακόμη και με μοντέλο συλλογισμού, οι σύντομες ερωτήσεις απαντούν σε λιγότερο από ένα λεπτό
- Περιβάλλον δοκιμών: ένα χρονικό όριο 60 δευτερολέπτων σας επιτρέπει να εντοπίζετε γρήγορα προβλήματα
# Client for fast requests
fast_client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(120.0)
)
# Client for complex reasoning
reasoning_client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Η χρήση δύο πελατών με διαφορετικά χρονικά όρια είναι ένα συχνό μοτίβο σε περιβάλλοντα παραγωγής.
Σημείωση για το grok-4.5 και τον Συλλογισμό
Το μοντέλο grok-4.5 δεν επιστρέφει το πεδίο reasoning_content σε απλό κείμενο στην απάντηση. Ο εσωτερικός συλλογισμός εκτελείται αλλά παραμένει αδιαφανής. Εάν χρειάζεστε να δείτε τη διαδικασία συλλογισμού, χρησιμοποιήστε use_encrypted_content=True για να το διατηρήσετε μεταξύ των αιτημάτων χωρίς να μπορείτε να το διαβάσετε, ή το grok-4.20-0309-reasoning, το οποίο εκθέτει περισσότερο από τη διαδικασία του.
Έλεγχος Επίπτωσης Cache
Για να μετρήσετε την αποδοτικότητα του cache, συγκρίνετε το πεδίο usage μεταξύ αιτημάτων με και χωρίς x-grok-conv-id:
response = await client.chat.completions.create(
model="grok-4.5",
messages=messages,
extra_headers={"x-grok-conv-id": conv_id}
)
usage = response.usage
if hasattr(usage, 'prompt_tokens_details'):
cached = usage.prompt_tokens_details.cached_tokens
total = usage.prompt_tokens
print(f"Cache hit: {cached}/{total} tokens ({cached/total*100:.0f}%)")
Ένα υψηλό ποσοστό επιτυχίας cache σημαίνει ότι τα tokens του συμφραζόμενου επαναχρησιμοποιούνται αντί να επανεπεξεργάζονται, γεγονός που μειώνει άμεσα τον λογαριασμό σας.
Βασικά σημεία
- Το
x-grok-conv-idμε ένα UUID v4 ενεργοποιεί την προσωρινή αποθήκευση συνομιλίας για συσχετιζόμενα αιτήματα - Τα tokens στην προσωρινή μνήμη χρεώνονται με μειωμένο επιτόκιο
- Ένα χρονικό όριο 3600 δευτερολέπτων είναι απαραίτητο για τα μοντέλα συλλογισμού
- Χρησιμοποιήστε ξεχωριστούς πελάτες για γρήγορα αιτήματα και αιτήματα συλλογισμού
- Το
grok-4.5δεν επιστρέφειreasoning_contentσε απλό κείμενο - Παρακολουθήστε το ποσοστό επιτυχίας cache στο
usage.prompt_tokens_detailsγια να επικυρώσετε τη βελτιστοποίηση