Vision: Analýza obrázků s modelem Grok
Na této stránce
Rozumění obrázkům pomocí Chat Completions
Modely Grok (od verze grok-4.5) zahrnují funkce pro práci se zrakem (vision), které ti umožňují analyzovat, popisovat a vyvozovat závěry z obrázků. Tuto funkci využíváš prostřednictvím formátu pole v poli content, kde kombinuješ objekty text a image_url.
Použití je mnohostranné: extrakce textu ze skenovaných dokumentů (OCR), analýza grafů, popis uživatelských rozhraní, vizuální porovnávání nebo interpretace technických diagramů.
Odeslání obrázku přes URL
Nejjednodušší způsob je poskytnout veřejnou URL adresu obrázku:
from openai import OpenAI
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Describe what you see in this image."},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/photo-architecture.jpg",
"detail": "high"
}
}
]
}
]
)
print(response.choices[0].message.content)
Servery xAI stáhnou obrázek v okamžiku žádosti. Musí být veřejně přístupný.
Odeslání obrázku v kódování Base64
Pro lokální nebo soukromé obrázky použij kódování base64:
import base64
def encode_image(image_path: str) -> str:
with open(image_path, "rb") as f:
return base64.b64encode(f.read()).decode("utf-8")
image_data = encode_image("capture-ecran.png")
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What text is visible in this screenshot?"},
{
"type": "image_url",
"image_url": {
"url": f"data:image/png;base64,{image_data}"
}
}
]
}
]
)
Formát URL je data:image/{format};base64,{data}, kde {format} je jpeg, jpg nebo png.
Úrovně detailu: auto, low a high
Parametr detail řídí rozlišení, ve kterém model obrázek analyzuje:
detail: “low”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/icone.png",
"detail": "low"
}
}
Obrázek je před analýzou zmenšen na nízké rozlišení. Toto je nejrychlejší režim a stojí nejméně tokenů. Použij jej pro jednoduché obrázky: ikony, loga, základní diagramy.
detail: “high”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/document-scan.jpg",
"detail": "high"
}
}
Obrázek je analyzován ve vysokém rozlišení. Model dokáže číst malý text, identifikovat jemné detaily a analyzovat konkrétní oblasti. Toto je doporučený režim pro dokumenty, snímky obrazovky a detailní fotografie.
detail: “auto”
Model automaticky zvolí úroveň detailu na základě velikosti a složitosti obrázku. Toto je výchozí hodnota, pokud parametr vynecháš.
Analýza více obrázků
Můžeš odeslat více obrázků v jedné zprávě pro účely porovnání nebo křížové analýzy:
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Compare these two versions of the design. What are the differences?"},
{"type": "image_url", "image_url": {"url": "https://example.com/v1.png", "detail": "high"}},
{"type": "image_url", "image_url": {"url": "https://example.com/v2.png", "detail": "high"}}
]
}
]
)
Počet obrázků na žádost není omezen, ale každý obrázek spotřebuje další tokeny.
Technická omezení
Při používání funkce vision měj na paměti následující limity:
- Maximální velikost: 20 MiB na obrázek
- Podporované formáty: Pouze JPG, JPEG a PNG
- Kompatibilní modely: grok-4 a vyšší (starší modely nepodporují vision)
- Tokeny: Obrázky spotřebovávají tokeny, které se přičítají k ceně textové části žádosti
Klíčové poznatky
- Vision využívá formát pole v poli
contents objektyimage_url - Obrázky lze odeslat přes veřejnou URL nebo zakódovat v base64
- Tři úrovně detailu:
auto(výchozí),low(rychlé/úsporné) ahigh(detailní) - Maximální velikost 20 MiB na obrázek, pouze formáty JPG a PNG
- Pro porovnání lze v jedné zprávě odeslat více obrázků