Разбиране и анализ на изображения
На тази страница
Зрение на Grok
Grok не се ограничава само до текст. Моделите grok-4.5 и по-новите включват възможности за зрение, които им позволяват да анализират изображения, предоставени от Вас като входни данни. Можете да изпратите снимка, екранна снимка, диаграма или всякаква друга визуализация, а Grok ще Ви предостави подробно описание, анализ или контекстуален отговор. Това разширява границите на възможното: снимка на табло за управление, смачкана фактура или макет на приложение се превръщат в използваеми документи, точно както текст, поставен в разговора.
Как да изпратите изображение
В grok.com процесът отнема четири стъпки:
- Кликнете върху бутона за прикачване в полето за въвеждане
- Изберете изображението от Вашето устройство
- По желание добавете текстово съобщение, за да насочите анализа
- Изпратете съобщението си
На мобилно устройство можете също така да направите снимка директно с камерата на телефона си и да я изпратите на Grok за анализ. Това е най-бързият начин, когато сте пред табела, меню или екран, които не можете да копирате и поставите.
За разработчиците изпращането на изображения става чрез смесен масив от обекти в полето за входни данни:
response = client.responses.create(
model="grok-4.5",
input=[
{"type": "input_image", "image_url": "https://exemple.com/photo.jpg"},
{"type": "input_text", "text": "Describe this image in detail"}
]
)
Можете да предоставяте изображения като публичен URL адрес или в кодиран формат base64. Изборът има значение: публичният URL изисква изображението да е достъпно отвън, което изключва вътрешните документи; base64 прави заявката по-тежка, но е единствената опция за поверителен файл.
Какво всъщност можете да попитате
Описанието е най-непосредствената употреба. Grok детайлизира присъстващите обекти, цветовете, композицията, настроението, както и хората и техните изражения. Все пак трябва да формулирате заявката си, иначе ще получите плосък инвентар:
Опишете тази снимка в детайли.
Кой е основният обект и какви вторични
елементи забелязвате?
Извличането на текст, или OCR, вероятно е най-ценната ежедневна употреба. Grok чете и транскрибира текст от снимки на документи, екранни снимки, табели и плакати, ресторанти менюта и визитки: всички случаи, в които ръчното препечатване на информацията отнема няколко минути. Искайки форматиране едновременно, спестявате втори кръг от комуникация:
Извлечете целия видим текст в това изображение
и го подредете по четим начин.
Анализът на диаграми и схеми надхвърля простото четене: Grok интерпретира статистически графики, блок-схеми и технически диаграми и може да Ви каже какво показват те. Това е особено полезно, когато PDF отчет заключва своето заключение вътре в дадена фигура:
Анализирайте тази диаграма. Какви са основните тенденции
и какви изводи можем да направим?
Можете също така да изпратите няколко изображения в една и съща заявка, за да може Grok да ги сравни, което превръща прегледа на дизайн в разговор:
Ето две версии на един дизайн. Какви са
основните разлики между тях?
Накрая, дизайнерите и разработчиците използват това зрение върху собствените си екрани, искайки критика за удобството на употреба, а не просто описание:
Анализирайте тази екранна снимка на мобилно приложение.
Какви проблеми с удобството на употреба виждате?
Задаване на ниво на детайлност
Чрез API параметърът detail контролира дълбочината на анализа на изображението и приема три стойности:
- auto: моделът избира подходящото ниво (по подразбиране)
- low: бърз, евтин анализ, използващ по-малко токени
- high: подробен, задълбочен анализ, използващ повече токени
Тази настройка балансира между точност и разход, случай по случай. За обикновен OCR на фактура, low е достатъчно и намалява разходите при хиляди документи; за фин художествен анализ или плътна диаграма, high избягва грешки при разчитане.
Ограничения, които трябва да знаете
| Ограничение | Стойност |
|---|---|
| Максимален размер | 20 MiB на изображение |
| Приети формати | Само JPG, JPEG и PNG |
| Брой изображения | Няма ограничение на заявка |
| Използване на токени | Между 256 и 1,792 токена в зависимост от размера и нивото на детайлност |
Няколко навика ще Ви помогнат да извлечете максимума от тези възможности. Формулирайте заявката си, вместо да искате общо описание: „колко артикула липсват на склад в тази екранна снимка“ е по-добре от „опишете това изображение“. Променете размера на големите файлове, които забавят обработката, без да добавят нищо полезно. Винаги включвайте текстово съобщение заедно с изображението, защото контекстът значително подобрява релевантността на отговора. И следвайте логиката на форматите: JPG за фотографии, PNG за екранни снимки и всяка визуализация, съдържаща текст, тъй като компресията на JPG замъглява фините символи и кара OCR да се провали.
Ключови изводи
- Моделите grok-4.5 и по-новите могат да анализират изображения, подадени като входни данни
- Вариантите за употреба включват описание, OCR, анализ на диаграми и сравнение
- Можете да предоставяте изображения чрез URL адрес или в base64
- Настройката за детайлност Ви позволява да контролирате баланса между точност и разход
- Максималният размер е 20 MiB, само във формати JPG и PNG