Анализиране на изображение с Grok
На тази страница
Компютърно зрение с Grok API
Моделите на Grok с поддръжка на зрение могат да анализират изображения, както и текст. Вие изпращате изображение (чрез URL адрес или в base64) заедно с въпрос, а моделът го описва, анализира или извлича визуална информация. Тази възможност отваря конкретни перспективи: извличане на данни от екранни снимки, анализиране на графики, четене на сканирани документи.
Формат на входното изображение
За да изпратите изображение, използвате масив от смесено съдържание (текст и изображение) в полето input:
[
{
"type": "input_image",
"image_url": "https://exemple.com/mon-image.jpg"
},
{
"type": "input_text",
"text": "What do you see in this image?"
}
]
Типът input_image приема публичен URL адрес към изображението. Типът input_text съдържа Вашия въпрос или инструкция.
Пример на Python
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": "https://exemple.com/graphique-ventes.png"
},
{
"type": "input_text",
"text": "Analyze this chart. What's the main trend?"
}
]
)
print(response.output[0].content[0].text)
С формата chat/completions
Ако използвате остарялата крайна точка /v1/chat/completions, форматът е леко различен:
response = client.chat.completions.create(
model="grok-4.5",
messages=[
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {"url": "https://exemple.com/photo.jpg"}
},
{
"type": "text",
"text": "Describe this image in detail."
}
]
}
]
)
Разлики във форматите
| Крайна точка | Тип изображение | Тип текст |
|---|---|---|
/v1/responses | input_image | input_text |
/v1/chat/completions | image_url | text |
Изпращане на изображение в base64
Ако Вашето изображение не е достъпно чрез URL адрес (локален файл, генерирано изображение), кодирайте го в base64:
import base64
with open("capture.png", "rb") as f:
image_base64 = base64.b64encode(f.read()).decode("utf-8")
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": f"data:image/png;base64,{image_base64}"
},
{
"type": "input_text",
"text": "Read the text in this screenshot."
}
]
)
Реални случаи на употреба
Извличане на данни
Изпратете снимка на фактура или касова бележка и поискайте от модела да извлече сумите, датите и референтните номера.
Анализ на графики
Представете графика или диаграма и поискайте тълкуване на тенденциите и ключовите фигури.
Помощ при програмиране
Споделете екранна снимка на грешка във Вашата IDE и поискайте обяснение и решение.
Описание на интерфейс
Изпратете макет или екранна снимка и поискайте от модела да опише съдържащите се елементи на интерфейса.
Модели с възможности за зрение
Не всеки модел на Grok поддържа зрение. Използвайте grok-4.5, който включва поддръжка на изображения. Моделите „Mini“ или „fast“ може да имат ограничена или никаква поддръжка.
Ключови изводи
- Използвайте типа
input_imageс крайната точка/v1/responses, за да изпращате изображения - Можете да изпращате изображения чрез публичен URL адрес или кодирано в base64
- Моделът
grok-4.5поддържа анализ на изображения - Комбинирайте изображение и текст в масив, за да задавате въпроси относно визуалното съдържание