Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Vision: analizuokite vaizdus su Grok

Paskaita 7 iš 12 Atnaujinta 2026 m. liepos 30 d. Kūrėjas
Šiame puslapyje
  1. Vaizdų supratimas naudojant pokalbių užpildymą
  2. Vaizdo siuntimas per URL
  3. Vaizdo siuntimas naudojant Base64
  4. Detalumo lygiai: auto, low ir high
  5. Kelių vaizdų analizė
  6. Techniniai apribojimai
  7. Svarbiausi punktai

Vaizdų supratimas naudojant pokalbių užpildymą

Grok modeliai (nuo grok-4.5 versijos) turi regos gebėjimų, leidžiančių analizuoti, aprašyti ir samprotauti apie vaizdus. Šią funkciją naudoji per content lauko masyvo formatą, derindamas text ir image_url objektus.

Naudojimo atvejų yra daugybė: teksto išgavimas iš nuskaitytų dokumentų (OCR), diagramų analizė, vartotojo sąsajų aprašymas, vizualus palyginimas arba techninių schemų interpretavimas.

Vaizdo siuntimas per URL

Paprastiausias būdas – pateikti viešą vaizdo URL:

from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1"
)

response = client.chat.completions.create(
    model="grok-4.20-0309-reasoning",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Describe what you see in this image."},
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://example.com/photo-architecture.jpg",
                        "detail": "high"
                    }
                }
            ]
        }
    ]
)

print(response.choices[0].message.content)

xAI serveriai atsisiunčia vaizdą užklausos metu. Jis privalo būti viešai pasiekiamas.

Vaizdo siuntimas naudojant Base64

Vietiniams arba privatiems vaizdams naudok base64 kodavimą:

import base64

def encode_image(image_path: str) -> str:
    with open(image_path, "rb") as f:
        return base64.b64encode(f.read()).decode("utf-8")

image_data = encode_image("capture-ecran.png")

response = client.chat.completions.create(
    model="grok-4.20-0309-reasoning",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "What text is visible in this screenshot?"},
                {
                    "type": "image_url",
                    "image_url": {
                        "url": f"data:image/png;base64,{image_data}"
                    }
                }
            ]
        }
    ]
)

URL formatas yra data:image/{format};base64,{data}, kur {format} yra jpeg, jpg arba png.

Detalumo lygiai: auto, low ir high

Parametras detail valdo skiriamąją gebą, kuria modelis analizuoja vaizdą:

detail: “low”

{
  "type": "image_url",
  "image_url": {
    "url": "https://example.com/icone.png",
    "detail": "low"
  }
}

Vaizdas prieš analizę sumažinamas iki mažos skiriamosios gebos. Tai greičiausias režimas, sunaudojantis mažiausiai žetonų. Naudok jį paprastiems vaizdams: piktogramoms, logotipams, pagrindinėms diagramoms.

detail: “high”

{
  "type": "image_url",
  "image_url": {
    "url": "https://example.com/document-scan.jpg",
    "detail": "high"
  }
}

Vaizdas analizuojama didele skiriamąja geba. Modelis gali perskaityti smulkų tekstą, atpažinti tikslias detales ir analizuoti specifines sritis. Tai rekomenduojamas režimas dokumentams, ekrano kopijoms ir išsamioms nuotraukoms.

detail: “auto”

Modelis automatiškai pasirenka detalumo lygį pagal vaizdo dydį ir sudėtingumą. Jei praleidi šį parametrą, tai yra numatytoji reikšmė.

Kelių vaizdų analizė

Viename pranešime gali siųsti kelis vaizdus palyginimui arba kryžminei analizei atlikti:

response = client.chat.completions.create(
    model="grok-4.20-0309-reasoning",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Compare these two versions of the design. What are the differences?"},
                {"type": "image_url", "image_url": {"url": "https://example.com/v1.png", "detail": "high"}},
                {"type": "image_url", "image_url": {"url": "https://example.com/v2.png", "detail": "high"}}
            ]
        }
    ]
)

Vaizdų skaičius vienoje užklausoje neribojamas, tačiau kiekvienas vaizdas suvartoja papildomų žetonų.

Techniniai apribojimai

Naudodamas regos funkciją, atkreipk dėmesį į šiuos apribojimus:

  • Maksimalus dydis: 20 MiB vienam vaizdui
  • Palaikomi formatai: tik JPG, JPEG ir PNG
  • Suderinami modeliai: grok-4 ir naujesni (senesni modeliai nepalaiko regos funkcijos)
  • Žetonai: vaizdai suvartoja žetonus, kurie pridedami prie teksto užklausos kainos

Svarbiausi punktai

  • Regos funkcija naudoja content lauko masyvo formatą su image_url objektais
  • Vaizdus galima siųsti per viešą URL arba koduojant base64 formatu
  • Trys detalumo lygiai: auto (numatytasis), low (greitas/ekonomiškas) ir high (išsamus)
  • Maksimalus vaizdo dydis – 20 MiB, palaikomi tik JPG ir PNG formatai
  • Vienam pranešimui galima siųsti kelis vaizdus palyginimui