Vision: Analizuj obrazy z Grok
Na tej stronie
Rozumienie obrazów za pomocą Chat Completions
Modele Grok (począwszy od grok-4.5) posiadają możliwości wizyjne, które pozwalają Ci analizować, opisywać i wnioskować na podstawie obrazów. Funkcję tę wykorzystujesz poprzez format tablicowy pola content, łącząc obiekty text i image_url.
Zastosowań jest wiele: ekstrakcja tekstu ze zeskanowanych dokumentów (OCR), analiza wykresów, opisywanie interfejsów użytkownika, porównywanie wizualne czy interpretacja diagramów technicznych.
Wysyłanie obrazu przez URL
Najprostszym sposobem jest podanie publicznego adresu URL obrazu:
from openai import OpenAI
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Describe what you see in this image."},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/photo-architecture.jpg",
"detail": "high"
}
}
]
}
]
)
print(response.choices[0].message.content)
Serwery xAI pobierają obraz w momencie wysłania żądania. Musi on być publicznie dostępny.
Wysyłanie obrazu w formacie Base64
W przypadku obrazów lokalnych lub prywatnych użyj kodowania base64:
import base64
def encode_image(image_path: str) -> str:
with open(image_path, "rb") as f:
return base64.b64encode(f.read()).decode("utf-8")
image_data = encode_image("capture-ecran.png")
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What text is visible in this screenshot?"},
{
"type": "image_url",
"image_url": {
"url": f"data:image/png;base64,{image_data}"
}
}
]
}
]
)
Format URL to data:image/{format};base64,{data}, gdzie {format} to jpeg, jpg lub png.
Poziomy szczegółowości: auto, low i high
Parametr detail kontroluje rozdzielczość, w jakiej model analizuje obraz:
detail: “low”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/icone.png",
"detail": "low"
}
}
Obraz jest zmniejszany do niskiej rozdzielczości przed analizą. Jest to najszybszy tryb i kosztuje najmniej tokenów. Używaj go dla prostych obrazów: ikon, logotypów, podstawowych diagramów.
detail: “high”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/document-scan.jpg",
"detail": "high"
}
}
Obraz jest analizowany w wysokiej rozdzielczości. Model potrafi odczytać mały tekst, zidentyfikować drobne szczegóły i przeanalizować konkretne obszary. Jest to zalecany tryb dla dokumentów, zrzutów ekranu i szczegółowych fotografii.
detail: “auto”
Model automatycznie wybiera poziom szczegółowości w zależności od rozmiaru i złożoności obrazu. Jest to wartość domyślna, jeśli pominiesz ten parametr.
Analiza wielu obrazów
Możesz wysłać wiele obrazów w jednej wiadomości, aby przeprowadzić porównanie lub analizę krzyżową:
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Compare these two versions of the design. What are the differences?"},
{"type": "image_url", "image_url": {"url": "https://example.com/v1.png", "detail": "high"}},
{"type": "image_url", "image_url": {"url": "https://example.com/v2.png", "detail": "high"}}
]
}
]
)
Nie ma limitu liczby obrazów na żądanie, ale każdy obraz zużywa dodatkowe tokeny.
Ograniczenia techniczne
Pamiętaj o tych limitach podczas korzystania z funkcji wizyjnych:
- Maksymalny rozmiar: 20 MiB na obraz
- Obsługiwane formaty: Tylko JPG, JPEG i PNG
- Kompatybilne modele: grok-4 i nowsze (starsze modele nie obsługują vision)
- Tokeny: obrazy zużywają tokeny, które doliczane są do kosztu tekstowego żądania
Kluczowe wnioski
- Vision wykorzystuje format tablicowy pola
contentz obiektamiimage_url - Obrazy można wysyłać przez publiczny URL lub zakodowane w base64
- Trzy poziomy szczegółowości:
auto(domyślny),low(szybki/oszczędny) ihigh(szczegółowy) - Maksymalny rozmiar 20 MiB na obraz, tylko formaty JPG i PNG
- W jednej wiadomości można wysłać wiele obrazów do porównań