Vision: Analizați imaginile cu Grok
Pe această pagină
Înțelegerea imaginilor prin Chat Completions
Modelele Grok (începând cu grok-4.5) includ capacități de visionare care vă permit să analizați, să descrieți și să raționați asupra imaginilor. Utilizați această funcționalitate prin formatul de tablou al câmpului content, combinând obiecte de tip text și image_url.
Cazurile de utilizare sunt numeroase: extragerea textului din documente scanate (OCR), analiza graficelor, descrierea interfețelor utilizator, compararea vizuală sau interpretarea diagramelor tehnice.
Trimiterea unei imagini prin URL
Cea mai simplă metodă constă în furnizarea URL-ului public al imaginii:
from openai import OpenAI
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Describe what you see in this image."},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/photo-architecture.jpg",
"detail": "high"
}
}
]
}
]
)
print(response.choices[0].message.content)
Serverele xAI descarcă imaginea în momentul solicitării. Aceasta trebuie să fie accesibilă public.
Trimiterea unei imagini în Base64
Pentru imaginile locale sau private, utilizați codarea base64:
import base64
def encode_image(image_path: str) -> str:
with open(image_path, "rb") as f:
return base64.b64encode(f.read()).decode("utf-8")
image_data = encode_image("capture-ecran.png")
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What text is visible in this screenshot?"},
{
"type": "image_url",
"image_url": {
"url": f"data:image/png;base64,{image_data}"
}
}
]
}
]
)
Formatul URL-ului este data:image/{format};base64,{data}, unde {format} poate fi jpeg, jpg sau png.
Niveluri de detaliu: auto, low și high
Parametrul detail controlează rezoluția la care modelul analizează imaginea:
detail: “low”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/icone.png",
"detail": "low"
}
}
Imaginea este redusă la o rezoluție scăzută înainte de analiză. Acesta este modul cel mai rapid și consumă cei mai puțini tokeni. Utilizați-l pentru imagini simple: pictograme, logo-uri, diagrame de bază.
detail: “high”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/document-scan.jpg",
"detail": "high"
}
}
Imaginea este analizată la rezoluție înaltă. Modelul poate citi textul mic, poate identifica detalii fine și poate analiza zone specifice. Acesta este modul recomandat pentru documente, capturi de ecran și fotografii detaliate.
detail: “auto”
Modelul alege automat nivelul de detaliu în funcție de dimensiunea și complexitatea imaginii. Aceasta este valoarea implicită dacă omiteți parametrul.
Analiza mai multor imagini
Puteți trimite mai multe imagini într-un singur mesaj pentru sarcini de comparare sau analiză încrucișată:
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Compare these two versions of the design. What are the differences?"},
{"type": "image_url", "image_url": {"url": "https://example.com/v1.png", "detail": "high"}},
{"type": "image_url", "image_url": {"url": "https://example.com/v2.png", "detail": "high"}}
]
}
]
)
Nu există o limită privind numărul de imagini per solicitare, dar fiecare imagine consumă tokeni suplimentari.
Constrângeri tehnice
Rețineți aceste limite atunci când utilizați funcționalitatea de visionare:
- Dimensiune maximă: 20 MiB per imagine
- Formate acceptate: Doar JPG, JPEG și PNG
- Modele compatibile: grok-4 și versiuni superioare (modelele mai vechi nu suportă visionarea)
- Tokeni: imaginile consumă tokeni care se adaugă la costul textual al solicitării
Puncte cheie
- Visionarea utilizează formatul de tablou al câmpului
contentcu obiecteimage_url - Imaginile pot fi trimise prin URL public sau codate în base64
- Trei niveluri de detaliu:
auto(implicit),low(rapid/economic) șihigh(detaliat) - Dimensiune maximă de 20 MiB per imagine, doar formatele JPG și PNG
- Mai multe imagini pot fi trimise într-un singur mesaj pentru comparații