Мултимодални подкани
На тази страница
Текст и изображения в една и съща подкана
Моделите Grok 4.5 и по-новите могат да анализират изображения в допълнение към текста. Тази мултимодална способност отваря широк спектър от възможности: описание на изображения, OCR (разпознаване на текст), анализ на графики, визуално сравнение и други.
Овладяването на мултимодалните подкани Ви позволява да използвате Grok като визуален асистент в допълнение към текстовия такъв.
Изпращане на изображение към Grok
При използване на Responses API (основния крайна точка), изображенията се интегрират в полето input като типизирани обекти:
{
"model": "grok-4.5",
"input": [
{"type": "input_image", "image_url": "https://exemple.com/dashboard.png"},
{"type": "input_text", "text": "Analyze this dashboard and identify declining metrics."}
]
}
При използване на Chat Completions API (стария крайна точка), структурата е леко различна:
{
"model": "grok-4.5",
"messages": [{
"role": "user",
"content": [
{"type": "image_url", "image_url": {"url": "https://exemple.com/dashboard.png", "detail": "high"}},
{"type": "text", "text": "Analyze this dashboard and identify declining metrics."}
]
}]
}
Параметърът detail: контрол на точността
Нивото на детайлност влияе върху дълбочината на анализа и броя на използваните токени:
detail: low
Изображението се обработва бързо при намалена резолюция. Използвайте този режим, за да:
- Класифицирате изображения (снимка, илюстрация, диаграма)
- Опишете общото съдържание
- Идентифицирате основните обекти
- Сортирате изображения по категория
Консумация: по-малко токени, по-бърз отговор.
detail: high
Изображението се анализира във висока резолюция. Използвайте този режим, за да:
- Прочетете текст в изображението (OCR)
- Анализирате детайли в графика или диаграма
- Сравните прецизни визуални елементи
- Откриете дефекти или аномалии
Консумация: повече токени (между 256 и 1792 в зависимост от размера), по-бавен отговор.
detail: auto
Моделът сам избира подходящото ниво. Това е поведението по подразбиране.
Източници на изображения
Директен URL
Най-простият метод: предоставете HTTPS връзка към изображението.
{"type": "input_image", "image_url": "https://exemple.com/photo.jpg"}
Base64 (data URI)
За изображения, които не са хоствани онлайн, ги кодирайте в base64:
{"type": "input_image", "image_url": "data:image/png;base64,iVBORw0KGgo..."}
Този метод е полезен за екранни снимки, програмно генерирани изображения или изображения от процес на обработка.
Практически случаи на употреба
OCR и извличане на текст
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/facture.jpg"},
{"type": "input_text", "text": "Extract from this invoice: the invoice number, date, amount excluding tax, VAT, and amount including tax. Return the result in JSON."}
]
}
Анализ на графики
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/graphique-ventes.png"},
{"type": "input_text", "text": "This chart shows our monthly sales over 12 months. Identify trends, peaks, and troughs. Suggest possible explanations for the variations."}
]
}
Сравнение на изображения
{
"input": [
{"type": "input_text", "text": "Compare these two versions of our logo:"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v1.png"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v2.png"},
{"type": "input_text", "text": "Identify the differences and recommend the best version for web use."}
]
}
Анализ на потребителски интерфейс
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/mockup.png"},
{"type": "input_text", "text": "Evaluate this mobile interface mockup based on the following criteria: readability, visual hierarchy, accessibility, consistency. Rate each criterion out of 10."}
]
}
Основни технически ограничения
- Максимален размер: 20 MB на изображение
- Формати: Само JPG, JPEG и PNG (без GIF, SVG или WebP)
- Без ограничение за броя изображения на заявка
- Съвет от xAI: използвайте
store: falseв Responses API, когато работите с изображения, за да избегнете грешки, свързани със съхранението на историята
Съставяне на добра мултимодална подкана
Същите принципи за яснота важат, със специфика за изображенията:
- Анонсирайте изображението: кажете на модела какво ще види преди самото изображение
- Бъдете точни относно задачата: „Опишете това изображение“ е неясно; „Извлечете данни от стълбовидната диаграма и ги върнете в CSV“ е точно
- Насочете вниманието: ако само част от изображението Ви интересува, посочете го („Фокусирайте се върху горния десен ъгъл“)
- Посочете формата на изхода: както при текстовите подкани, уточнете дали очаквате JSON, списък или таблица
Практическо упражнение
Направете екранна снимка на таблото за управление, графика или документ и я изпратете на Grok със специфична заявка. Тествайте с detail: low, след това с detail: high и сравнете качеството и скоростта на отговорите.
Ключови изводи
- Моделите grok-4.5+ анализират изображения в допълнение към текста
- Параметърът
detail(low, auto, high) контролира дълбочината на анализа и разхода на токени - Изображенията могат да се предоставят чрез URL или base64
- Анонсирайте изображението, бъдете точни относно задачата и посочете формата на изхода
- Използвайте
store: false, за да избегнете проблеми със съхранението при работа с изображения - Приетите формати са ограничени до JPG, JPEG и PNG, с максимален размер от 20 MB