Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Cache x-grok-conv-id και Χρονικό Όριο Συλλογισμού

Μάθημα 11 / 12 Ενημερώθηκε 30 Ιουλίου 2026 Προχωρημένος
Σε αυτήν τη σελίδα
  1. Βελτιστοποίηση Κόστους με Caching
  2. Η Κεφαλίδα x-grok-conv-id
  3. Χρονικό Όριο 3600 Δευτερολέπτων για Συλλογισμό
  4. Σημείωση για το grok-4.5 και τον Συλλογισμό
  5. Έλεγχος Επίπτωσης Cache
  6. Βασικά σημεία

Βελτιστοποίηση Κόστους με Caching

Κάθε αίτημα που στέλνετε στο API της xAI χρεώνεται με την τυπική τιμή ανά token. Ωστόσο, όταν στέλνετε πολλαπλά συσχετιζόμενα αιτήματα (ίδια συνομιλία, ίδιο θέμα), μέρος του συμφραζόμενου επαναλαμβάνεται. Η κεφαλίδα x-grok-conv-id επιτρέπει στην xAI να αναγνωρίζει αυτά τα συσχετιζόμενα αιτήματα και να αυξάνει το ποσοστό επιτυχίας της προσωρινής μνήμης (cache hit rate), μειώνοντας έτσι το κόστος σας.

Η Κεφαλίδα x-grok-conv-id

Για να ενεργοποιήσετε την προσωρινή αποθήκευση συνομιλίας, προσθέστε μια προσαρμοσμένη κεφαλίδα με ένα μοναδικό UUID v4 ανά συνομιλία:

import uuid

conversation_id = str(uuid.uuid4())

# With the OpenAI SDK
response = await client.chat.completions.create(
    model="grok-4.5",
    messages=[{"role": "user", "content": prompt}],
    extra_headers={
        "x-grok-conv-id": conversation_id
    }
)

Όλα τα αιτήματα που μοιράζονται το ίδιο x-grok-conv-id επωφελούνται από βελτιωμένο ποσοστό επιτυχίας cache. Τα tokens στην προσωρινή μνήμη χρεώνονται με μειωμένο επιτόκιο σε σύγκριση με τα τυπικά tokens.

Κανόνες Χρήσης

  • Δημιουργήστε ένα νέο UUID για κάθε συνομιλία ή λογική συνεδρία
  • Επαναχρησιμοποιήστε το ίδιο UUID για όλα τα αιτήματα εντός της ίδιας συνομιλίας
  • Μην επαναχρησιμοποιείτε ένα UUID σε διαφορετικές συνομιλίες (αυτό υποβαθμίζει το caching)
# Pattern for a chatbot
class ConversationManager:
    def __init__(self):
        self.conv_id = str(uuid.uuid4())
        self.messages = []

    async def send(self, user_message: str) -> str:
        self.messages.append({"role": "user", "content": user_message})

        response = await client.chat.completions.create(
            model="grok-4.5",
            messages=self.messages,
            extra_headers={"x-grok-conv-id": self.conv_id}
        )

        assistant_message = response.choices[0].message.content
        self.messages.append({"role": "assistant", "content": assistant_message})
        return assistant_message

Χρονικό Όριο 3600 Δευτερολέπτων για Συλλογισμό

Τα μοντέλα συλλογισμού (grok-4.20-0309-reasoning και παρόμοια) εκτελούν εσωτερικό συλλογισμό πριν απαντήσουν. Αυτός ο συλλογισμός μπορεί να διαρκέσει αρκετά λεπτά για πολύπλοκα προβλήματα. Το προεπιλεγμένο χρονικό όριο για τους περισσότερους πελάτες HTTP (30-120 δευτερόλεπτα) είναι ανεπαρκές.

# Correct configuration for reasoning
from openai import AsyncOpenAI
import httpx

client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(
        connect=10.0,     # fast connection
        read=3600.0,      # 1 hour for read
        write=30.0,       # prompt submission
        pool=10.0         # connection wait
    )
)

Η τιμή read=3600.0 είναι η κρίσιμη παράμετρος. Αυτή αντιπροσωπεύει τη μέγιστη καθυστέρηση μεταξύ της στιγμής που ο διακομιστής αρχίζει να επεξεργάζεται το αίτημά σας και της στιγμής που λαμβάνετε την απάντηση. Για ένα μοντέλο συλλογισμού που σκέφτεται για 5 λεπτά, χρειάζεστε αυτό το περιθώριο ασφαλείας.

Πότε να Μειώσετε το Χρονικό Όριο

Το χρονικό όριο των 3600 δευτερολέπτων δεν είναι πάντα απαραίτητο:

  • grok-4.5 (μη συλλογισμού): ένα χρονικό όριο 120-300 δευτερολέπτων είναι συνήθως επαρκές
  • Απλά αιτήματα: ακόμη και με μοντέλο συλλογισμού, οι σύντομες ερωτήσεις απαντούν σε λιγότερο από ένα λεπτό
  • Περιβάλλον δοκιμών: ένα χρονικό όριο 60 δευτερολέπτων σας επιτρέπει να εντοπίζετε γρήγορα προβλήματα
# Client for fast requests
fast_client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(120.0)
)

# Client for complex reasoning
reasoning_client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(3600.0)
)

Η χρήση δύο πελατών με διαφορετικά χρονικά όρια είναι ένα συχνό μοτίβο σε περιβάλλοντα παραγωγής.

Σημείωση για το grok-4.5 και τον Συλλογισμό

Το μοντέλο grok-4.5 δεν επιστρέφει το πεδίο reasoning_content σε απλό κείμενο στην απάντηση. Ο εσωτερικός συλλογισμός εκτελείται αλλά παραμένει αδιαφανής. Εάν χρειάζεστε να δείτε τη διαδικασία συλλογισμού, χρησιμοποιήστε use_encrypted_content=True για να το διατηρήσετε μεταξύ των αιτημάτων χωρίς να μπορείτε να το διαβάσετε, ή το grok-4.20-0309-reasoning, το οποίο εκθέτει περισσότερο από τη διαδικασία του.

Έλεγχος Επίπτωσης Cache

Για να μετρήσετε την αποδοτικότητα του cache, συγκρίνετε το πεδίο usage μεταξύ αιτημάτων με και χωρίς x-grok-conv-id:

response = await client.chat.completions.create(
    model="grok-4.5",
    messages=messages,
    extra_headers={"x-grok-conv-id": conv_id}
)

usage = response.usage
if hasattr(usage, 'prompt_tokens_details'):
    cached = usage.prompt_tokens_details.cached_tokens
    total = usage.prompt_tokens
    print(f"Cache hit: {cached}/{total} tokens ({cached/total*100:.0f}%)")

Ένα υψηλό ποσοστό επιτυχίας cache σημαίνει ότι τα tokens του συμφραζόμενου επαναχρησιμοποιούνται αντί να επανεπεξεργάζονται, γεγονός που μειώνει άμεσα τον λογαριασμό σας.

Βασικά σημεία

  • Το x-grok-conv-id με ένα UUID v4 ενεργοποιεί την προσωρινή αποθήκευση συνομιλίας για συσχετιζόμενα αιτήματα
  • Τα tokens στην προσωρινή μνήμη χρεώνονται με μειωμένο επιτόκιο
  • Ένα χρονικό όριο 3600 δευτερολέπτων είναι απαραίτητο για τα μοντέλα συλλογισμού
  • Χρησιμοποιήστε ξεχωριστούς πελάτες για γρήγορα αιτήματα και αιτήματα συλλογισμού
  • Το grok-4.5 δεν επιστρέφει reasoning_content σε απλό κείμενο
  • Παρακολουθήστε το ποσοστό επιτυχίας cache στο usage.prompt_tokens_details για να επικυρώσετε τη βελτιστοποίηση