Analysoi kuva Grokin avulla
Tällä sivulla
Konenäkö Grok-API:n avulla
Näkökyvyllä varustetut Grok-mallit osaavat analysoida kuvia tekstin lisäksi. Lähetät kuvan (URL-osoitteena tai base64-koodattuna) yhdessä kysymyksen kanssa, jolloin malli kuvailee kuvaa, analysoi sitä tai poimii siitä visuaalista tietoa. Tämä ominaisuus avaa konkreettisia mahdollisuuksia: tietojen poimiminen kuvakaappauksista, kaavioiden analysointi ja skannattujen asiakirjojen lukeminen.
Kuvan syöttömuoto
Kuvan lähettämiseksi käytät sekasisältötaulukkoa (teksti ja kuva) kentässä input:
[
{
"type": "input_image",
"image_url": "https://exemple.com/mon-image.jpg"
},
{
"type": "input_text",
"text": "What do you see in this image?"
}
]
Tyyppi input_image vaatii julkisen URL-osoitteen kuvaan. Tyyppi input_text sisältää kysymyksesi tai ohjeesi.
Python-esimerkki
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": "https://exemple.com/graphique-ventes.png"
},
{
"type": "input_text",
"text": "Analyze this chart. What's the main trend?"
}
]
)
print(response.output[0].content[0].text)
chat/completions-muodolla
Jos käytät vanhentunutta päätepistettä /v1/chat/completions, muotoilu poikkeaa hieman:
response = client.chat.completions.create(
model="grok-4.5",
messages=[
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {"url": "https://exemple.com/photo.jpg"}
},
{
"type": "text",
"text": "Describe this image in detail."
}
]
}
]
)
Muotoiluerot
| Päätepiste | Kuvatyyppi | Tekstityyppi |
|---|---|---|
/v1/responses | input_image | input_text |
/v1/chat/completions | image_url | text |
Kuvan lähetys base64-muodossa
Jos kuvaasi ei voi tavoittaa URL-osoitteella (esimerkiksi paikallinen tiedosto tai generoitu kuva), koodaa se base64-muotoon:
import base64
with open("capture.png", "rb") as f:
image_base64 = base64.b64encode(f.read()).decode("utf-8")
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": f"data:image/png;base64,{image_base64}"
},
{
"type": "input_text",
"text": "Read the text in this screenshot."
}
]
)
Käytännön sovelluksia
Tietojen poiminta
Lähetä valokuva laskusta tai kuitista ja pyydä mallia poimimaan summat, päivämäärät ja viitenumerot.
Kaavioiden analyysi
Lähetä kaavio tai diagrammi ja pyydä tulkintaa trendeistä ja keskeisistä luvuista.
Koodausapu
Jaa kuvakaappaus virheilmoituksesta IDE:ssäsi ja pyydä selitystä sekä korjausehdotusta.
Käyttöliittymän kuvaus
Lähetä mallikuva tai kuvakaappaus ja pyydä mallia kuvaamaan siinä olevat käyttöliittymäelementit.
Näkökykyiset mallit
Kaikki Grok-mallit eivät tue näkökykyä. Käytä mallia grok-4.5, joka sisältää kuvatuen. “Mini”- tai “fast”-malleilla voi olla rajoitettu tuki tai ei lainkaan tukea.
Keskeiset asiat
- Käytä tyyppiä
input_imagepäätepisteen/v1/responseskanssa kuvien lähettämiseen - Voit lähettää kuvia julkisena URL-osoitteena tai base64-koodattuna
- Malli
grok-4.5tukee kuvien analysointia - Yhdistä kuva ja teksti taulukkoon kysyäksesi visuaalisesta sisällöstä