Videnie: Analýza obrázkov s Grok
Na tejto strane
Rozumienie obrázkom pomocou Chat Completions
Modely Grok (od verzie grok-4.5) zahŕňajú schopnosti videnia, ktoré ti umožňujú analyzovať, opisovať a usudzovať na základe obrázkov. Túto funkciu využívaš prostredníctvom formátu poľa content ako poľa, kde kombinuješ objekty text a image_url.
Prípady použitia sú početné: extrakcia textu zo skenovaných dokumentov (OCR), analýza grafov, opis používateľských rozhraní, vizuálne porovnávanie alebo interpretácia technických diagramov.
Odoslanie obrázka cez URL
Najjednoduchší spôsob je poskytnúť verejnú URL adresu obrázka:
from openai import OpenAI
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Describe what you see in this image."},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/photo-architecture.jpg",
"detail": "high"
}
}
]
}
]
)
print(response.choices[0].message.content)
Servery xAI si stiahnu obrázok v čase požiadavky. Obrázok musí byť verejne dostupný.
Odoslanie obrázka v Base64
Pre lokálne alebo súkromné obrázky použij kódovanie base64:
import base64
def encode_image(image_path: str) -> str:
with open(image_path, "rb") as f:
return base64.b64encode(f.read()).decode("utf-8")
image_data = encode_image("capture-ecran.png")
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What text is visible in this screenshot?"},
{
"type": "image_url",
"image_url": {
"url": f"data:image/png;base64,{image_data}"
}
}
]
}
]
)
Formát URL je data:image/{format};base64,{data}, kde {format} je jpeg, jpg alebo png.
Úrovne detailov: auto, low a high
Parameter detail riadi rozlíšenie, v akom model obrázok analyzuje:
detail: “low”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/icone.png",
"detail": "low"
}
}
Obrázok sa pred analýzou zmenší na nízke rozlíšenie. Toto je najrýchlejší režim a stojí najmenej tokenov. Použi ho pre jednoduché obrázky: ikony, logá, základné diagramy.
detail: “high”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/document-scan.jpg",
"detail": "high"
}
}
Obrázok sa analyzuje vo vysokom rozlíšení. Model dokáže čítať malý text, identifikovať jemné detaily a analyzovať konkrétne oblasti. Toto je odporúčaný režim pre dokumenty, snímky obrazovky a detailné fotografie.
detail: “auto”
Model automaticky vyberie úroveň detailu na základe veľkosti a zložitosti obrázka. Toto je predvolená hodnota, ak parameter vynecháš.
Analýza viacerých obrázkov
V jednej správe môžeš odoslať viacero obrázkov na účely porovnania alebo krížovej analýzy:
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Compare these two versions of the design. What are the differences?"},
{"type": "image_url", "image_url": {"url": "https://example.com/v1.png", "detail": "high"}},
{"type": "image_url", "image_url": {"url": "https://example.com/v2.png", "detail": "high"}}
]
}
]
)
Neexistuje limit na počet obrázkov na požiadavku, ale každý obrázok spotrebuje dodatočné tokeny.
Technické obmedzenia
Pri používaní videnia maj na pamäti tieto limity:
- Maximálna veľkosť: 20 MiB na obrázok
- Podporované formáty: Iba JPG, JPEG a PNG
- Kompatibilné modely: grok-4 a vyššie (staršie modely nepodporujú videnie)
- Tokeny: Obrázky spotrebúvajú tokeny, ktoré sa pripočítavajú k textovej cene požiadavky
Kľúčové poznatky
- Videnie využíva formát poľa
contentako poľa s objektmiimage_url - Obrázky možno odoslať cez verejnú URL alebo zakódované v base64
- Tri úrovne detailov:
auto(predvolené),low(rýchle/úsporné) ahigh(detailné) - Maximálna veľkosť 20 MiB na obrázok, iba formáty JPG a PNG
- V jednej správe možno odoslať viacero obrázkov na účely porovnania