Nägemine: piltide analüüs Grokiga
Sellel lehel
Pildimõistmine vestluse lõpuleviimisel
Groki mudelid (alates versioonist grok-4.5) sisaldavad nägemisvõimet, mis võimaldab sul pilte analüüsida, kirjeldada ja nendest järeldusi teha. Kasutad seda funktsiooni content välja massiivivormingu kaudu, kombineerides text ja image_url objekte.
Kasutusjuhte on palju: teksti eraldamine skannitud dokumentidest (OCR), diagrammide analüüs, kasutajaliideste kirjeldamine, visuaalne võrdlus või tehniliste skeemide tõlgendamine.
Pildi saatmine URL-i kaudu
Lihtsaim viis on sisestada pildi avalik URL:
from openai import OpenAI
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Describe what you see in this image."},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/photo-architecture.jpg",
"detail": "high"
}
}
]
}
]
)
print(response.choices[0].message.content)
xAI serverid laadivad pildi alla taotluse esitamise hetkel. See peab olema avalikult kättesaadav.
Pildi saatmine Base64-koodingus
Kohalike või privaatsete piltide jaoks kasuta base64-kodeeringut:
import base64
def encode_image(image_path: str) -> str:
with open(image_path, "rb") as f:
return base64.b64encode(f.read()).decode("utf-8")
image_data = encode_image("capture-ecran.png")
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What text is visible in this screenshot?"},
{
"type": "image_url",
"image_url": {
"url": f"data:image/png;base64,{image_data}"
}
}
]
}
]
)
URL-i vorming on data:image/{format};base64,{data}, kus {format} on jpeg, jpg või png.
Detailitase: auto, low ja high
Parameeter detail kontrollib eraldusvõimet, millega mudel pilti analüüsib:
detail: “low”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/icone.png",
"detail": "low"
}
}
Pilt skaalatakse enne analüüsi väiksema eraldusvõimega. See on kiireim režiim ja tarbib kõige vähem tokeneid. Kasuta seda lihtsate piltide puhul: ikoonid, logod, lihtsad diagrammid.
detail: “high”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/document-scan.jpg",
"detail": "high"
}
}
Pilti analüüsitakse suure eraldusvõimega. Mudel suudab lugeda väikest teksti, tuvastada peeneid detaile ja analüüsida konkreetseid piirkondi. See on soovitatav režiim dokumentide, ekraanitõmmiste ja üksikasjalike fotode jaoks.
detail: “auto”
Mudel valib detailitaseme automaatselt, lähtudes pildi suurusest ja keerukusest. See on vaikimisi väärtus, kui sa parameetrit ei määra.
Mitme pildi analüüs
Saad saata ühes sõnumis mitu pilti võrdluseks või ristanalüüsi tegemiseks:
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Compare these two versions of the design. What are the differences?"},
{"type": "image_url", "image_url": {"url": "https://example.com/v1.png", "detail": "high"}},
{"type": "image_url", "image_url": {"url": "https://example.com/v2.png", "detail": "high"}}
]
}
]
)
Piltide arvul taotluse kohta puudub piirang, kuid iga pilt tarbib lisatokeneid.
Tehnilised piirangud
Pidage nägemisfunktsiooni kasutamisel silmas järgmisi piiranguid:
- Maksimaalne suurus: 20 MiB pildi kohta
- Toetatud vormingud: ainult JPG, JPEG ja PNG
- Ühilduvad mudelid: grok-4 ja uuemad (vanemad mudelid ei toeta nägemist)
- Tokenid: pildid tarbivad tokeneid, mis liidetakse taotluse tekstikulule
Peamised punktid
- Nägemine kasutab
contentvälja massiivivormingut koosimage_urlobjektidega - Pilte saab saata avaliku URL-i kaudu või kodeerituna base64-vormingus
- Kolm detailitaset:
auto(vaikimisi),low(kiire/ökonoomne) jahigh(üksikasjalik) - Maksimaalne suurus 20 MiB pildi kohta, ainult JPG ja PNG vormingud
- Ühes sõnumis saab saata mitu pilti võrdlusteks