Analýza obrázka pomocou Grok
Na tejto strane
Počítačové videnie s API Grok
Modely Grok s podporou videnia dokážu analyzovať obrázky rovnako ako text. Odošleš obrázok (cez URL alebo v kódovaní base64) spolu s otázkou a model ho opíše, analyzuje alebo z neho extrahuje vizuálne informácie. Táto schopnosť otvára konkrétne možnosti: extrakcia dát zo snímok obrazovky, analýza grafov alebo čítanie naskenovaných dokumentov.
Formát vstupu obrázka
Na odoslanie obrázka použiješ v poli input pole zmiešaného obsahu (text a obrázok):
[
{
"type": "input_image",
"image_url": "https://exemple.com/mon-image.jpg"
},
{
"type": "input_text",
"text": "What do you see in this image?"
}
]
Typ input_image prijíma verejnú URL adresu obrázka. Typ input_text obsahuje tvoju otázku alebo inštrukciu.
Príklad v Pythone
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": "https://exemple.com/graphique-ventes.png"
},
{
"type": "input_text",
"text": "Analyze this chart. What's the main trend?"
}
]
)
print(response.output[0].content[0].text)
S formátom chat/completions
Ak používaš starší koncový bod /v1/chat/completions, formát sa mierne líši:
response = client.chat.completions.create(
model="grok-4.5",
messages=[
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {"url": "https://exemple.com/photo.jpg"}
},
{
"type": "text",
"text": "Describe this image in detail."
}
]
}
]
)
Rozdiely vo formáte
| Koncový bod | Typ obrázka | Typ textu |
|---|---|---|
/v1/responses | input_image | input_text |
/v1/chat/completions | image_url | text |
Odoslanie obrázka v base64
Ak nie je tvoj obrázok dostupný cez URL (ide o lokálny súbor alebo vygenerovaný obrázok), zakóduj ho do formátu base64:
import base64
with open("capture.png", "rb") as f:
image_base64 = base64.b64encode(f.read()).decode("utf-8")
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": f"data:image/png;base64,{image_base64}"
},
{
"type": "input_text",
"text": "Read the text in this screenshot."
}
]
)
Reálne prípady použitia
Extrakcia dát
Odošli fotografiu faktúry alebo bločku a požiadaj model o extrakciu súm, dátumov a referenčných čísel.
Analýza grafov
Predlož graf alebo diagram a požiadaj o interpretáciu trendov a kľúčových čísel.
Pomoc s kódovaním
Zdieľaj snímku obrazovky s chybou vo svojom IDE a požiadaj o vysvetlenie a opravu.
Opis rozhrania
Odošli mockup alebo snímku obrazovky a požiadaj model o opis prvkov rozhrania, ktoré obsahuje.
Modely s podporou videnia
Nie každý model Grok podporuje videnie. Použi grok-4.5, ktorý zahrňuje podporu obrázkov. Modely „Mini“ alebo „fast“ môžu mať obmedzenú podporu alebo žiadnu.
Kľúčové poznatky
- Na odosielanie obrázkov použij typ
input_images koncovým bodom/v1/responses - Obrázky môžeš odosielať cez verejnú URL alebo v kódovaní base64
- Model
grok-4.5podporuje analýzu obrázkov - Skombinuj obrázok a text v poli, aby si mohol klásť otázky týkajúce sa vizuálneho obsahu