Όραση: Ανάλυση Εικόνων με το Grok
Σε αυτήν τη σελίδα
Κατανόηση Εικόνων με Chat Completions
Τα μοντέλα Grok (ξεκινώντας από το grok-4.5) περιλαμβάνουν δυνατότητες όρασης που σας επιτρέπουν να αναλύετε, να περιγράφετε και να εξάγετε συμπεράσματα σχετικά με εικόνες. Χρησιμοποιείτε αυτή τη λειτουργία μέσω της μορφής πίνακα του πεδίου content, συνδυάζοντας αντικείμενα text και image_url.
Οι περιπτώσεις χρήσης είναι πολυάριθμες: εξαγωγή κειμένου από σαρωμένα έγγραφα (OCR), ανάλυση γραφημάτων, περιγραφή διεπαφών χρήστη, οπτική σύγκριση ή ερμηνεία τεχνικών διαγραμμάτων.
Αποστολή Εικόνας μέσω URL
Ο απλούστερος τρόπος είναι να παρέχετε το δημόσιο URL της εικόνας:
from openai import OpenAI
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Describe what you see in this image."},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/photo-architecture.jpg",
"detail": "high"
}
}
]
}
]
)
print(response.choices[0].message.content)
Οι διακομιστές της xAI κατεβάζουν την εικόνα κατά τη στιγμή του αιτήματος. Η εικόνα πρέπει να είναι δημόσια προσβάσιμη.
Αποστολή Εικόνας σε Base64
Για τοπικές ή ιδιωτικές εικόνες, χρησιμοποιήστε κωδικοποίηση base64:
import base64
def encode_image(image_path: str) -> str:
with open(image_path, "rb") as f:
return base64.b64encode(f.read()).decode("utf-8")
image_data = encode_image("capture-ecran.png")
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What text is visible in this screenshot?"},
{
"type": "image_url",
"image_url": {
"url": f"data:image/png;base64,{image_data}"
}
}
]
}
]
)
Η μορφή URL είναι data:image/{format};base64,{data}, όπου το {format} είναι jpeg, jpg ή png.
Επίπεδα Λεπτομέρειας: auto, low και high
Η παράμετρος detail ελέγχει την ανάλυση με την οποία το μοντέλο αναλύει την εικόνα:
detail: “low”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/icone.png",
"detail": "low"
}
}
Η εικόνα υποβαθμίζεται σε χαμηλή ανάλυση πριν από την ανάλυση. Αυτός είναι ο ταχύτερος τρόπος και κοστίζει τα λιγότερα tokens. Χρησιμοποιήστε τον για απλές εικόνες: εικονίδια, λογότυπα, βασικά διαγράμματα.
detail: “high”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/document-scan.jpg",
"detail": "high"
}
}
Η εικόνα αναλύεται σε υψηλή ανάλυση. Το μοντέλο μπορεί να διαβάσει μικρό κείμενο, να εντοπίσει λεπτές λεπτομέρειες και να αναλύσει συγκεκριμένες περιοχές. Αυτός είναι ο συνιστώμενος τρόπος για έγγραφα, στιγμιότυπα οθόνης και λεπτομερείς φωτογραφίες.
detail: “auto”
Το μοντέλο επιλέγει αυτόματα το επίπεδο λεπτομέρειας με βάση το μέγεθος και την πολυπλοκότητα της εικόνας. Αυτή είναι η προεπιλεγμένη τιμή εάν παραλείψετε την παράμετρο.
Ανάλυση Πολλαπλών Εικόνων
Μπορείτε να στείλετε πολλαπλές εικόνες σε ένα μόνο μήνυμα για εργασίες σύγκρισης ή διασταυρούμενης ανάλυσης:
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Compare these two versions of the design. What are the differences?"},
{"type": "image_url", "image_url": {"url": "https://example.com/v1.png", "detail": "high"}},
{"type": "image_url", "image_url": {"url": "https://example.com/v2.png", "detail": "high"}}
]
}
]
)
Δεν υπάρχει όριο στον αριθμό των εικόνων ανά αίτημα, αλλά κάθε εικόνα καταναλώνει επιπλέον tokens.
Τεχνικοί Περιορισμοί
Λάβετε υπόψη τους ακόλουθους περιορισμούς κατά τη χρήση της όρασης:
- Μέγιστο μέγεθος: 20 MiB ανά εικόνα
- Υποστηριζόμενες μορφές: Μόνο JPG, JPEG και PNG
- Συμβατά μοντέλα: grok-4 και νεότερα (τα παλαιότερα μοντέλα δεν υποστηρίζουν όραση)
- Tokens: Οι εικόνες καταναλώνουν tokens που προστίθενται στο κόστος κειμένου του αιτήματος
Βασικά σημεία
- Η όραση χρησιμοποιεί τη μορφή πίνακα του πεδίου
contentμε αντικείμεναimage_url - Οι εικόνες μπορούν να σταλούν μέσω δημόσιου URL ή να κωδικοποιηθούν σε base64
- Τρία επίπεδα λεπτομέρειας:
auto(προεπιλογή),low(γρήγορο/οικονομικό) καιhigh(λεπτομερές) - Μέγιστο μέγεθος 20 MiB ανά εικόνα, μόνο μορφές JPG και PNG
- Πολλαπλές εικόνες μπορούν να σταλούν σε ένα μόνο μήνυμα για συγκρίσεις