Pildi analüüsimine Grokiga
Sellel lehel
Arvutinägemine Grok API abil
Groki mudelid, mis toetavad nägemisvõimet, suudavad analüüsida nii pilte kui ka teksti. Saadad pildi (URL-i või base64-koodina) koos küsimusega ning mudel kirjeldab seda, analüüsib või eraldab visuaalset teavet. See võimalus avab konkreetsed kasutusviisid: andmete eraldamine ekraanitõmmistelt, diagrammide analüüsimine, skaneeritud dokumentide lugemine.
Pildi sisendformaat
Pildi saatmiseks kasutad väljal input segasisu massiivi (tekst ja pilt):
[
{
"type": "input_image",
"image_url": "https://exemple.com/mon-image.jpg"
},
{
"type": "input_text",
"text": "What do you see in this image?"
}
]
Tüüp input_image võtab vastu pildi avaliku URL-i. Tüüp input_text sisaldab sinu küsimust või juhendit.
Pythoni näide
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": "https://exemple.com/graphique-ventes.png"
},
{
"type": "input_text",
"text": "Analyze this chart. What's the main trend?"
}
]
)
print(response.output[0].content[0].text)
Kasutades vormingut chat/completions
Kui kasutad vanemat lõpppunkti /v1/chat/completions, on formaat veidi erinev:
response = client.chat.completions.create(
model="grok-4.5",
messages=[
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {"url": "https://exemple.com/photo.jpg"}
},
{
"type": "text",
"text": "Describe this image in detail."
}
]
}
]
)
Formaadi erinevused
| Lõpppunkt | Pildi tüüp | Teksti tüüp |
|---|---|---|
/v1/responses | input_image | input_text |
/v1/chat/completions | image_url | text |
Pildi saatmine base64-koodis
Kui sinu pilt ei ole URL-i kaudu kättesaadav (näiteks kohalik fail või genereeritud pilt), kodeeri see base64-formaati:
import base64
with open("capture.png", "rb") as f:
image_base64 = base64.b64encode(f.read()).decode("utf-8")
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": f"data:image/png;base64,{image_base64}"
},
{
"type": "input_text",
"text": "Read the text in this screenshot."
}
]
)
Reaalsed kasutusjuhtumid
Andmete eraldamine
Saada foto arvest või kviitungist ja palu mudelil eraldada summad, kuupäevad ja viitenumbrid.
Diagrammide analüüs
Esita diagramm või skeem ja küsi trendide ning peamiste näitajate tõlgendust.
Programmeerimisabi
Jaga ekraanitõmmist veast oma IDE-s ja küsi selgitust ning lahendust.
Liidese kirjeldus
Saada makett või ekraanitõmmis ja palu mudelil kirjeldada selles sisalduvaid liidese elemente.
Nägemisvõimega mudelid
Mitte iga Groki mudel ei toeta nägemisvõimet. Kasuta mudelit grok-4.5, mis sisaldab piltide tuge. Mudelid „Mini“ või „fast“ võivad omada piiratud tuge või mitte toetada seda üldse.
Peamised punktid
- Kasuta piltide saatmiseks lõpppunktiga
/v1/responsestüüpiinput_image - Pilte saab saata avaliku URL-i või base64-koodina
- Mudel
grok-4.5toetab piltide analüüsi - Kombineeri pilt ja tekst massiivis, et esitada visuaalse sisu kohta küsimusi