Vision: analizuokite vaizdus su Grok
Šiame puslapyje
Vaizdų supratimas naudojant pokalbių užpildymą
Grok modeliai (nuo grok-4.5 versijos) turi regos gebėjimų, leidžiančių analizuoti, aprašyti ir samprotauti apie vaizdus. Šią funkciją naudoji per content lauko masyvo formatą, derindamas text ir image_url objektus.
Naudojimo atvejų yra daugybė: teksto išgavimas iš nuskaitytų dokumentų (OCR), diagramų analizė, vartotojo sąsajų aprašymas, vizualus palyginimas arba techninių schemų interpretavimas.
Vaizdo siuntimas per URL
Paprastiausias būdas – pateikti viešą vaizdo URL:
from openai import OpenAI
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Describe what you see in this image."},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/photo-architecture.jpg",
"detail": "high"
}
}
]
}
]
)
print(response.choices[0].message.content)
xAI serveriai atsisiunčia vaizdą užklausos metu. Jis privalo būti viešai pasiekiamas.
Vaizdo siuntimas naudojant Base64
Vietiniams arba privatiems vaizdams naudok base64 kodavimą:
import base64
def encode_image(image_path: str) -> str:
with open(image_path, "rb") as f:
return base64.b64encode(f.read()).decode("utf-8")
image_data = encode_image("capture-ecran.png")
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What text is visible in this screenshot?"},
{
"type": "image_url",
"image_url": {
"url": f"data:image/png;base64,{image_data}"
}
}
]
}
]
)
URL formatas yra data:image/{format};base64,{data}, kur {format} yra jpeg, jpg arba png.
Detalumo lygiai: auto, low ir high
Parametras detail valdo skiriamąją gebą, kuria modelis analizuoja vaizdą:
detail: “low”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/icone.png",
"detail": "low"
}
}
Vaizdas prieš analizę sumažinamas iki mažos skiriamosios gebos. Tai greičiausias režimas, sunaudojantis mažiausiai žetonų. Naudok jį paprastiems vaizdams: piktogramoms, logotipams, pagrindinėms diagramoms.
detail: “high”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/document-scan.jpg",
"detail": "high"
}
}
Vaizdas analizuojama didele skiriamąja geba. Modelis gali perskaityti smulkų tekstą, atpažinti tikslias detales ir analizuoti specifines sritis. Tai rekomenduojamas režimas dokumentams, ekrano kopijoms ir išsamioms nuotraukoms.
detail: “auto”
Modelis automatiškai pasirenka detalumo lygį pagal vaizdo dydį ir sudėtingumą. Jei praleidi šį parametrą, tai yra numatytoji reikšmė.
Kelių vaizdų analizė
Viename pranešime gali siųsti kelis vaizdus palyginimui arba kryžminei analizei atlikti:
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Compare these two versions of the design. What are the differences?"},
{"type": "image_url", "image_url": {"url": "https://example.com/v1.png", "detail": "high"}},
{"type": "image_url", "image_url": {"url": "https://example.com/v2.png", "detail": "high"}}
]
}
]
)
Vaizdų skaičius vienoje užklausoje neribojamas, tačiau kiekvienas vaizdas suvartoja papildomų žetonų.
Techniniai apribojimai
Naudodamas regos funkciją, atkreipk dėmesį į šiuos apribojimus:
- Maksimalus dydis: 20 MiB vienam vaizdui
- Palaikomi formatai: tik JPG, JPEG ir PNG
- Suderinami modeliai: grok-4 ir naujesni (senesni modeliai nepalaiko regos funkcijos)
- Žetonai: vaizdai suvartoja žetonus, kurie pridedami prie teksto užklausos kainos
Svarbiausi punktai
- Regos funkcija naudoja
contentlauko masyvo formatą suimage_urlobjektais - Vaizdus galima siųsti per viešą URL arba koduojant base64 formatu
- Trys detalumo lygiai:
auto(numatytasis),low(greitas/ekonomiškas) irhigh(išsamus) - Maksimalus vaizdo dydis – 20 MiB, palaikomi tik JPG ir PNG formatai
- Vienam pranešimui galima siųsti kelis vaizdus palyginimui