Kép elemzése Grokkal
Ezen az oldalon
Számítógépes látás a Grok API-val
A látási képességekkel rendelkező Grok modellek a szöveg mellett képeket is képesek elemezni. Küldesz egy képet (URL-en vagy base64 formátumban) egy kérdéssel együtt, a modell pedig leírja, elemzi azt, vagy kinyer belőle vizuális információkat. Ez a képesség konkrét lehetőségeket nyit meg: adatok kinyerése képernyőmentésekből, diagramok elemzése, beolvasott dokumentumok olvasása.
Kép bemeneti formátuma
Kép küldéséhez vegyes tartalmú (szöveg és kép) tömböt használsz az input mezőben:
[
{
"type": "input_image",
"image_url": "https://exemple.com/mon-image.jpg"
},
{
"type": "input_text",
"text": "What do you see in this image?"
}
]
Az input_image típus a kép nyilvános URL-címét fogadja. Az input_text típus tartalmazza a kérdésedet vagy utasításodat.
Python példa
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": "https://exemple.com/graphique-ventes.png"
},
{
"type": "input_text",
"text": "Analyze this chart. What's the main trend?"
}
]
)
print(response.output[0].content[0].text)
A chat/completions formátummal
Ha a régi /v1/chat/completions végpontot használod, a formátum kissé eltér:
response = client.chat.completions.create(
model="grok-4.5",
messages=[
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {"url": "https://exemple.com/photo.jpg"}
},
{
"type": "text",
"text": "Describe this image in detail."
}
]
}
]
)
Formátumkülönbségek
| Végpont | Kép típusa | Szöveg típusa |
|---|---|---|
/v1/responses | input_image | input_text |
/v1/chat/completions | image_url | text |
Kép küldése base64-ben
Ha a képed nem érhető el URL-en keresztül (helyi fájl, generált kép), kódold base64-be:
import base64
with open("capture.png", "rb") as f:
image_base64 = base64.b64encode(f.read()).decode("utf-8")
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": f"data:image/png;base64,{image_base64}"
},
{
"type": "input_text",
"text": "Read the text in this screenshot."
}
]
)
Valós felhasználási esetek
Adatkinyerés
Küldj egy fotót egy számláról vagy nyugtáról, és kérd meg a modellt, hogy nyerje ki az összegeket, dátumokat és hivatkozási számokat.
Diagram elemzése
Küldj be egy diagramot vagy grafikont, és kérj értelmezést a trendekről és a kulcsfontosságú számokról.
Programozási segítség
Oszd meg egy hiba képernyőmentését az IDE-dből, és kérj magyarázatot, valamint megoldást.
Felület leírása
Küldj egy mockupot vagy képernyőmentést, és kérd meg a modellt, hogy írja le a benne található felületi elemeket.
Látási képességekkel rendelkező modellek
Nem minden Grok modell támogatja a látást. Használd a grok-4.5 modellt, amely tartalmazza a képtámogatást. A „Mini“ vagy „fast“ modellek korlátozott támogatással rendelkezhetnek, vagy egyáltalán nem támogatják ezt.
Főbb megállapítások
- Használd az
input_imagetípust a/v1/responsesvégponttal képek küldéséhez - Küldhetsz képeket nyilvános URL-en vagy base64-kódolással
- A
grok-4.5modell támogatja a képelemzést - Kombináld a képet és a szöveget egy tömbben, hogy kérdéseket tegyél fel a vizuális tartalomról