Analizuokite vaizdą naudodami Grok
Šiame puslapyje
Kompiuterinė rega naudojant Grok API
Grok modeliai, palaikantys vaizdų analizę, gali apdoroti ne tik tekstą, bet ir paveikslėlius. Siunčiate vaizdą (per URL arba „base64“ formatu) kartu su klausimu, o modelis jį aprašo, analizuoja arba iš jo ištraukia vizualinę informaciją. Ši galimybė atveria konkrečias perspektyvas: duomenų išgavimą iš ekrano kopijų, diagramų analizę, nuskaitytų dokumentų skaitymą.
Vaizdo įvesties formatas
Norėdami siųsti vaizdą, lauke input naudokite mišraus turinio (teksto ir vaizdo) masyvą:
[
{
"type": "input_image",
"image_url": "https://exemple.com/mon-image.jpg"
},
{
"type": "input_text",
"text": "What do you see in this image?"
}
]
Tipas input_image priima viešą vaizdo URL adresą. Tipas input_text turi jūsų klausimą arba instrukciją.
Python pavyzdys
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": "https://exemple.com/graphique-ventes.png"
},
{
"type": "input_text",
"text": "Analyze this chart. What's the main trend?"
}
]
)
print(response.output[0].content[0].text)
Naudojant chat/completions formatą
Jei naudojate senesnį /v1/chat/completions galinį tašką, formatas šiek tiek skiriasi:
response = client.chat.completions.create(
model="grok-4.5",
messages=[
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {"url": "https://exemple.com/photo.jpg"}
},
{
"type": "text",
"text": "Describe this image in detail."
}
]
}
]
)
Formato skirtumai
| Galinis taškas | Vaizdo tipas | Teksto tipas |
|---|---|---|
/v1/responses | input_image | input_text |
/v1/chat/completions | image_url | text |
Vaizdo siuntimas „base64“ formatu
Jei jūsų vaizdas nepasiekiamas per URL (vietinis failas, sugeneruotas vaizdas), užkoduokite jį „base64“:
import base64
with open("capture.png", "rb") as f:
image_base64 = base64.b64encode(f.read()).decode("utf-8")
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": f"data:image/png;base64,{image_base64}"
},
{
"type": "input_text",
"text": "Read the text in this screenshot."
}
]
)
Realūs naudojimo atvejai
Duomenų išgavimas
Nusiųskite sąskaitos faktūros arba čekio nuotrauką ir paprašykite modelio išgauti sumas, datas ir nuorodų numerius.
Diagramų analizė
Pateikite diagramą ar schemą ir paprašykite interpretuoti tendencijas bei pagrindinius rodiklius.
Pagalba programuojant
Pasidalinkite ekrano kopija su klaida savo IDE ir paprašykite paaiškinimo bei sprendimo būdo.
Sąsajos aprašymas
Nusiųskite maketą arba ekrano kopiją ir paprašykite modelio aprašyti joje esančius sąsajos elementus.
Vaizdus palaikantys modeliai
Ne visi Grok modeliai palaiko vaizdų analizę. Naudokite grok-4.5, kuris turi vaizdų palaikymą. „Mini“ arba „fast“ modeliai gali turėti ribotą palaikymą arba jo neturėti iš viso.
Svarbiausi punktai
- Naudokite tipą
input_imagesu galiniu tašku/v1/responsesvaizdams siųsti - Vaizdus galite siųsti naudodami viešą URL arba užkoduotus „base64“ formatu
- Modelis
grok-4.5palaiko vaizdų analizę - Derinkite vaizdą ir tekstą masyve, kad galėtumėte užduoti klausimus apie vizualinį turinį