Vision: Képelemzés Grokkal
Ezen az oldalon
Képértelmezés a Chat Completions segítségével
A Grok modellek (a grok-4.5 verziótól kezdődően) rendelkeznek látási képességekkel, amelyek lehetővé teszik képek elemzését, leírását és az azokkal kapcsolatos következtetések levonását. Ezt a funkciót a content mező tömb formátumán keresztül érheted el, ahol text és image_url objektumokat kombinálsz.
A felhasználási területek sokfélék: szöveg kinyerése beolvasott dokumentumokból (OCR), diagramok elemzése, felhasználói felületek leírása, vizuális összehasonlítás vagy műszaki ábrák értelmezése.
Kép küldése URL-en keresztül
A legegyszerűbb módszer a kép nyilvános URL-címének megadása:
from openai import OpenAI
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Describe what you see in this image."},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/photo-architecture.jpg",
"detail": "high"
}
}
]
}
]
)
print(response.choices[0].message.content)
Az xAI szerverei a kérés időpontjában töltik le a képet. Annak nyilvánosan elérhetőnek kell lennie.
Kép küldése Base64 kódolással
Helyi vagy privát képek esetén használd a base64 kódolást:
import base64
def encode_image(image_path: str) -> str:
with open(image_path, "rb") as f:
return base64.b64encode(f.read()).decode("utf-8")
image_data = encode_image("capture-ecran.png")
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What text is visible in this screenshot?"},
{
"type": "image_url",
"image_url": {
"url": f"data:image/png;base64,{image_data}"
}
}
]
}
]
)
Az URL formátuma: data:image/{formátum};base64,{adat}, ahol a {formátum} lehet jpeg, jpg vagy png.
Részletességi szintek: auto, low és high
A detail paraméter szabályozza azt a felbontást, amelyen a modell elemzi a képet:
detail: “low”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/icone.png",
"detail": "low"
}
}
A kép elemzés előtt alacsony felbontásra kerül méretezésre. Ez a leggyorsabb mód, és a legkevesebb tokent fogyasztja. Egyszerű képeknél alkalmazd: ikonok, logók, alapvető diagramok esetén.
detail: “high”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/document-scan.jpg",
"detail": "high"
}
}
A kép nagy felbontásban kerül elemzésre. A modell képes elolvasni a kis méretű szövegeket, azonosítani a finom részleteket és elemezni specifikus területeket. Dokumentumok, képernyőképek és részletes fényképek esetén ez az ajánlott mód.
detail: “auto”
A modell automatikusan választja ki a részletességi szintet a kép mérete és összetettsége alapján. Ez az alapértelmezett érték, ha kihagyod a paramétert.
Több kép elemzése
Küldhetsz több képet is egyetlen üzenetben összehasonlítás vagy kereszt-elemzés céljából:
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Compare these two versions of the design. What are the differences?"},
{"type": "image_url", "image_url": {"url": "https://example.com/v1.png", "detail": "high"}},
{"type": "image_url", "image_url": {"url": "https://example.com/v2.png", "detail": "high"}}
]
}
]
)
Nincs korlátozás a kérésenkénti képek számára vonatkozóan, de minden kép további tokeneket fogyaszt.
Technikai korlátok
Tartsd szem előtt ezeket a korlátokat a vision használatakor:
- Maximális méret: 20 MiB képenként
- Támogatott formátumok: Kizárólag JPG, JPEG és PNG
- Kompatibilis modellek: grok-4 és újabb verziók (a régebbi modellek nem támogatják a visiont)
- Tokenek: a képek tokeneket fogyasztanak, amelyek hozzáadódnak a kérés szöveges költségéhez
Főbb megállapítások
- A vision a
contentmező tömb formátumát használjaimage_urlobjektumokkal - A képek küldhetők nyilvános URL-en keresztül vagy base64-ben kódolva
- Három részletességi szint létezik:
auto(alapértelmezett),low(gyors/gazdaságos) éshigh(részletes) - Maximális méret képenként 20 MiB, kizárólag JPG és PNG formátumok
- Több kép is küldhető egyetlen üzenetben összehasonlítás céljából