Analýza obrázku pomocí Grok
Na této stránce
Počítačové vidění s Grok API
Modely Grok s podporou vidění dokážou analyzovat nejen text, ale i obrázky. Pošleš obrázek (prostřednictvím URL nebo v kódování base64) spolu s otázkou a model jej popíše, analyzuje nebo z něj extrahuje vizuální informace. Tato schopnost otevírá konkrétní možnosti: extrakci dat ze screenshotů, analýzu grafů nebo čtení naskenovaných dokumentů.
Formát vstupu pro obrázek
Pro odeslání obrázku použiješ v poli input pole smíšeného obsahu (text a obrázek):
[
{
"type": "input_image",
"image_url": "https://exemple.com/mon-image.jpg"
},
{
"type": "input_text",
"text": "What do you see in this image?"
}
]
Typ input_image přijímá veřejnou URL adresu obrázku. Typ input_text obsahuje tvou otázku nebo instrukci.
Příklad v Pythonu
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": "https://exemple.com/graphique-ventes.png"
},
{
"type": "input_text",
"text": "Analyze this chart. What's the main trend?"
}
]
)
print(response.output[0].content[0].text)
S formátem chat/completions
Pokud používáš starší koncový bod /v1/chat/completions, je formát mírně odlišný:
response = client.chat.completions.create(
model="grok-4.5",
messages=[
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {"url": "https://exemple.com/photo.jpg"}
},
{
"type": "text",
"text": "Describe this image in detail."
}
]
}
]
)
Rozdíly ve formátu
| Koncový bod | Typ obrázku | Typ textu |
|---|---|---|
/v1/responses | input_image | input_text |
/v1/chat/completions | image_url | text |
Odeslání obrázku v base64
Pokud není tvůj obrázek dostupný přes URL (jedná se o místní soubor nebo vygenerovaný obrázek), zakóduj jej do base64:
import base64
with open("capture.png", "rb") as f:
image_base64 = base64.b64encode(f.read()).decode("utf-8")
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": f"data:image/png;base64,{image_base64}"
},
{
"type": "input_text",
"text": "Read the text in this screenshot."
}
]
)
Reálné případy použití
Extrakce dat
Pošli fotografii faktury nebo účtenky a požádej model o extrakci částek, dat a referenčních čísel.
Analýza grafů
Odešli graf nebo diagram a požádej o interpretaci trendů a klíčových údajů.
Pomoc s kódováním
Sdílej screenshot chyby ve svém IDE a požádej o vysvětlení a opravu.
Popis rozhraní
Pošli mockup nebo screenshot a požádej model o popis prvků rozhraní, které obsahuje.
Modely s podporou vidění
Ne každý model Grok podporuje vidění. Použij grok-4.5, který zahrnuje podporu obrázků. Modely „Mini“ nebo „fast“ mohou mít podporu omezenou nebo žádnou.
Klíčové poznatky
- Pro odesílání obrázků použij s koncovým bodem
/v1/responsestypinput_image - Obrázky můžeš odesílat pomocí veřejné URL nebo v kódování base64
- Model
grok-4.5podporuje analýzu obrázků - Pro kladení otázek týkajících se vizuálního obsahu kombinuj obrázek a text v poli