Vizija: Analiza slik z Grokom
Na tej strani
Razumevanje slik s klepetalnimi dopolnitvami
Modeli Grok (začenši z grok-4.5) vključujejo vizualne zmogljivosti, ki ti omogočajo analizo, opisovanje in sklepanje o slikah. To funkcijo uporabljaš prek polja content v obliki seznama, kjer združiš predmete text in image_url.
Primerov uporabe je veliko: ekstrakcija besedila iz optično prebranih dokumentov (OCR), analiza grafikov, opis uporabniških vmesnikov, vizualna primerjava ali razlaga tehničnih diagramov.
Pošiljanje slike prek URL-ja
Najpreprostejši način je, da navedeš javni URL slike:
from openai import OpenAI
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Describe what you see in this image."},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/photo-architecture.jpg",
"detail": "high"
}
}
]
}
]
)
print(response.choices[0].message.content)
Strežniki xAI prenesejo sliko ob času zahteve. Slika mora biti javno dostopna.
Pošiljanje slike v kodiranju Base64
Za lokalne ali zasebne slike uporabi kodiranje base64:
import base64
def encode_image(image_path: str) -> str:
with open(image_path, "rb") as f:
return base64.b64encode(f.read()).decode("utf-8")
image_data = encode_image("capture-ecran.png")
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What text is visible in this screenshot?"},
{
"type": "image_url",
"image_url": {
"url": f"data:image/png;base64,{image_data}"
}
}
]
}
]
)
Oblika URL-ja je data:image/{format};base64,{data}, kjer je {format} enak jpeg, jpg ali png.
Ravni podrobnosti: auto, low in high
Parameter detail nadzira ločljivost, pri kateri model analizira sliko:
detail: “low”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/icone.png",
"detail": "low"
}
}
Slika se pred analizo pomanjša na nizko ločljivost. To je najhitrejši način in porabi najmanj žetonov. Uporabi ga za preproste slike: ikone, logotipe, osnovne diagrame.
detail: “high”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/document-scan.jpg",
"detail": "high"
}
}
Slika se analizira v visoki ločljivosti. Model lahko bere majhno besedilo, prepozna fine podrobnosti in analizira specifična območja. To je priporočeni način za dokumente, posnetke zaslona in podrobne fotografije.
detail: “auto”
Model samodejno izbere raven podrobnosti glede na velikost in kompleksnost slike. To je privzeta vrednost, če parameter izpustiš.
Analiza več slik
V enem sporočilu lahko pošlješ več slik za naloge primerjave ali navzkrižne analize:
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Compare these two versions of the design. What are the differences?"},
{"type": "image_url", "image_url": {"url": "https://example.com/v1.png", "detail": "high"}},
{"type": "image_url", "image_url": {"url": "https://example.com/v2.png", "detail": "high"}}
]
}
]
)
Število slik na zahtevo ni omejeno, vendar vsaka slika porabi dodatne žetone.
Tehnične omejitve
Pri uporabi vizije imej v mislih naslednje omejitve:
- Največja velikost: 20 MiB na sliko
- Podprti formati: Samo JPG, JPEG in PNG
- Združljivi modeli: grok-4 in novejši (starejši modeli ne podpirajo vizije)
- Žetoni: Slike porabijo žetone, ki se prištejejo strošku besedila zahteve
Ključne ugotovitve
- Vizija uporablja obliko seznama polja
contents predmetiimage_url - Slike lahko pošlješ prek javnega URL-ja ali kodirane v base64
- Tri ravni podrobnosti:
auto(privzeto),low(hitro/varčno) inhigh(podrobno) - Največja velikost 20 MiB na sliko, samo formata JPG in PNG
- V enem sporočilu lahko pošlješ več slik za primerjave