Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Nägemine: piltide analüüs Grokiga

Õppetund 7 / 12 Värskendatud 30. juuli 2026 Arendajatele
Sellel lehel
  1. Pildimõistmine vestluse lõpuleviimisel
  2. Pildi saatmine URL-i kaudu
  3. Pildi saatmine Base64-koodingus
  4. Detailitase: auto, low ja high
  5. Mitme pildi analüüs
  6. Tehnilised piirangud
  7. Peamised punktid

Pildimõistmine vestluse lõpuleviimisel

Groki mudelid (alates versioonist grok-4.5) sisaldavad nägemisvõimet, mis võimaldab sul pilte analüüsida, kirjeldada ja nendest järeldusi teha. Kasutad seda funktsiooni content välja massiivivormingu kaudu, kombineerides text ja image_url objekte.

Kasutusjuhte on palju: teksti eraldamine skannitud dokumentidest (OCR), diagrammide analüüs, kasutajaliideste kirjeldamine, visuaalne võrdlus või tehniliste skeemide tõlgendamine.

Pildi saatmine URL-i kaudu

Lihtsaim viis on sisestada pildi avalik URL:

from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1"
)

response = client.chat.completions.create(
    model="grok-4.20-0309-reasoning",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Describe what you see in this image."},
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://example.com/photo-architecture.jpg",
                        "detail": "high"
                    }
                }
            ]
        }
    ]
)

print(response.choices[0].message.content)

xAI serverid laadivad pildi alla taotluse esitamise hetkel. See peab olema avalikult kättesaadav.

Pildi saatmine Base64-koodingus

Kohalike või privaatsete piltide jaoks kasuta base64-kodeeringut:

import base64

def encode_image(image_path: str) -> str:
    with open(image_path, "rb") as f:
        return base64.b64encode(f.read()).decode("utf-8")

image_data = encode_image("capture-ecran.png")

response = client.chat.completions.create(
    model="grok-4.20-0309-reasoning",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "What text is visible in this screenshot?"},
                {
                    "type": "image_url",
                    "image_url": {
                        "url": f"data:image/png;base64,{image_data}"
                    }
                }
            ]
        }
    ]
)

URL-i vorming on data:image/{format};base64,{data}, kus {format} on jpeg, jpg või png.

Detailitase: auto, low ja high

Parameeter detail kontrollib eraldusvõimet, millega mudel pilti analüüsib:

detail: “low”

{
  "type": "image_url",
  "image_url": {
    "url": "https://example.com/icone.png",
    "detail": "low"
  }
}

Pilt skaalatakse enne analüüsi väiksema eraldusvõimega. See on kiireim režiim ja tarbib kõige vähem tokeneid. Kasuta seda lihtsate piltide puhul: ikoonid, logod, lihtsad diagrammid.

detail: “high”

{
  "type": "image_url",
  "image_url": {
    "url": "https://example.com/document-scan.jpg",
    "detail": "high"
  }
}

Pilti analüüsitakse suure eraldusvõimega. Mudel suudab lugeda väikest teksti, tuvastada peeneid detaile ja analüüsida konkreetseid piirkondi. See on soovitatav režiim dokumentide, ekraanitõmmiste ja üksikasjalike fotode jaoks.

detail: “auto”

Mudel valib detailitaseme automaatselt, lähtudes pildi suurusest ja keerukusest. See on vaikimisi väärtus, kui sa parameetrit ei määra.

Mitme pildi analüüs

Saad saata ühes sõnumis mitu pilti võrdluseks või ristanalüüsi tegemiseks:

response = client.chat.completions.create(
    model="grok-4.20-0309-reasoning",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Compare these two versions of the design. What are the differences?"},
                {"type": "image_url", "image_url": {"url": "https://example.com/v1.png", "detail": "high"}},
                {"type": "image_url", "image_url": {"url": "https://example.com/v2.png", "detail": "high"}}
            ]
        }
    ]
)

Piltide arvul taotluse kohta puudub piirang, kuid iga pilt tarbib lisatokeneid.

Tehnilised piirangud

Pidage nägemisfunktsiooni kasutamisel silmas järgmisi piiranguid:

  • Maksimaalne suurus: 20 MiB pildi kohta
  • Toetatud vormingud: ainult JPG, JPEG ja PNG
  • Ühilduvad mudelid: grok-4 ja uuemad (vanemad mudelid ei toeta nägemist)
  • Tokenid: pildid tarbivad tokeneid, mis liidetakse taotluse tekstikulule

Peamised punktid

  • Nägemine kasutab content välja massiivivormingut koos image_url objektidega
  • Pilte saab saata avaliku URL-i kaudu või kodeerituna base64-vormingus
  • Kolm detailitaset: auto (vaikimisi), low (kiire/ökonoomne) ja high (üksikasjalik)
  • Maksimaalne suurus 20 MiB pildi kohta, ainult JPG ja PNG vormingud
  • Ühes sõnumis saab saata mitu pilti võrdlusteks