Analizēt attēlu ar Grok
Šajā lapā
Datorredze ar Grok API
Grok modeļi ar redzes atbalstu spēj analizēt gan attēlus, gan tekstu. Tu nosūti attēlu (izmantojot URL vai base64 formātā) kopā ar jautājumu, un modelis to apraksta, analizē vai iegūst no tā vizuālo informāciju. Šī iespēja paver konkrētus lietojumus: datu ieguve no ekrānuzņēmumiem, diagrammu analīze, skenētu dokumentu nolasīšana.
Attēla ievades formāts
Lai nosūtītu attēlu, laukā input izmanto jaukta satura masīvu (teksts un attēls):
[
{
"type": "input_image",
"image_url": "https://exemple.com/mon-image.jpg"
},
{
"type": "input_text",
"text": "What do you see in this image?"
}
]
Tips input_image pieņem publisku URL uz attēlu. Tips input_text satur tavu jautājumu vai instrukciju.
Python piemērs
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": "https://exemple.com/graphique-ventes.png"
},
{
"type": "input_text",
"text": "Analyze this chart. What's the main trend?"
}
]
)
print(response.output[0].content[0].text)
Izmantojot chat/completions formātu
Ja izmanto veco /v1/chat/completions galapunktu, formāts nedaudz atšķiras:
response = client.chat.completions.create(
model="grok-4.5",
messages=[
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {"url": "https://exemple.com/photo.jpg"}
},
{
"type": "text",
"text": "Describe this image in detail."
}
]
}
]
)
Formāta atšķirības
| Galapunkts | Attēla tips | Teksta tips |
|---|---|---|
/v1/responses | input_image | input_text |
/v1/chat/completions | image_url | text |
Attēla nosūtīšana base64 formātā
Ja tavs attēls nav pieejams caur URL (vietējais fails, ģenerēts attēls), kodē to base64 formātā:
import base64
with open("capture.png", "rb") as f:
image_base64 = base64.b64encode(f.read()).decode("utf-8")
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": f"data:image/png;base64,{image_base64}"
},
{
"type": "input_text",
"text": "Read the text in this screenshot."
}
]
)
Reāli lietojumi
Datu ieguve
Nosūti rēķina vai čeka foto un lūdz modelim iegūt summas, datumus un atsauces numurus.
Diagrammu analīze
Iesūti diagrammu vai shēmu un pieprasi tendences un galveno rādītāju interpretāciju.
Palīdzība programmēšanā
Kopīgo ekrānuzņēmumu ar kļūdu savā IDE un lūdz paskaidrojumu un risinājumu.
Saskarnes apraksts
Nosūti maketu vai ekrānuzņēmumu un lūdz modelim aprakstīt tajā esošos saskarnes elementus.
Modeļi ar redzes atbalstu
Ne visi Grok modeļi atbalsta redzi. Izmanto grok-4.5, kurš ietver attēlu atbalstu. Modeļiem „Mini” vai „fast” atbalsts var būt ierobežots vai tā vispār nav.
Galvenās atziņas
- Izmanto tipu
input_imagekopā ar galapunktu/v1/responses, lai nosūtītu attēlus - Attēlus vari nosūtīt, izmantojot publisku URL vai kodētus base64 formātā
- Modelis
grok-4.5atbalsta attēlu analīzi - Apvieno attēlu un tekstu masīvā, lai uzdotu jautājumus par vizuālo saturu