Daudzmodālie uzvedņi
Šajā lapā
Teksts un attēli vienā uzvednī
Grok 4.5 un vēlākie modeļi spēj analizēt attēlus papildus tekstam. Šī daudzmodālā spēja paver plašu iespēju klāstu: attēlu aprakstīšana, OCR (teksta atpazīšana), diagrammu analīze, vizuāla salīdzināšana un daudz kas cits.
Apgūstot daudzmodālos uzvedņus, tu vari izmantot Grok ne tikai kā teksta, bet arī kā vizuālo asistentu.
Attēla nosūtīšana uz Grok
Izmantojot Responses API (galvenais galapunkts), attēli tiek integrēti laukā input kā tipēti objekti:
{
"model": "grok-4.5",
"input": [
{"type": "input_image", "image_url": "https://exemple.com/dashboard.png"},
{"type": "input_text", "text": "Analyze this dashboard and identify declining metrics."}
]
}
Izmantojot Chat Completions API (vecais galapunkts), struktūra nedaudz atšķiras:
{
"model": "grok-4.5",
"messages": [{
"role": "user",
"content": [
{"type": "image_url", "image_url": {"url": "https://exemple.com/dashboard.png", "detail": "high"}},
{"type": "text", "text": "Analyze this dashboard and identify declining metrics."}
]
}]
}
Parametrs detail: precizitātes kontrole
Detalizācijas līmenis ietekmē analīzes dziļumu un patērēto tokena skaitu:
detail: low
Attēls tiek apstrādāts ātri samazinātā izšķirtspējā. Izmanto šo režīmu, lai:
- Klasificētu attēlus (fotoattēls, ilustrācija, diagramma)
- Aprakstītu vispārīgu saturu
- Identificētu galvenos objektus
- Sakārtotu attēlus pēc kategorijām
Patēriņš: mazāk tokena, ātrāka atbilde.
detail: high
Attēls tiek analizēts augstā izšķirtspējā. Izmanto šo režīmu, lai:
- Lasītu tekstu attēlā (OCR)
- Analizētu detaļas diagrammā vai shēmā
- Salīdzinātu precīzus vizuālos elementus
- Atklātu defektus vai anomālijas
Patēriņš: vairāk tokena (no 256 līdz 1792 atkarībā no izmēra), lēnāka atbilde.
detail: auto
Modelis pats izvēlas atbilstošo līmeni. Šī ir noklusējuma darbība.
Attēlu avoti
Tieša URL
Vienkāršākā metode: norādi HTTPS saiti uz attēlu.
{"type": "input_image", "image_url": "https://exemple.com/photo.jpg"}
Base64 (datu URI)
Attēliem, kas nav izvietoti tiešsaistē, kodē tos base64 formātā:
{"type": "input_image", "image_url": "data:image/png;base64,iVBORw0KGgo..."}
Šī metode ir noderīga ekrānuzņēmumiem, programmiski ģenerētiem attēliem vai attēliem no apstrādes cauruļvada.
Praktiski lietojumi
OCR un teksta ekstrakcija
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/facture.jpg"},
{"type": "input_text", "text": "Extract from this invoice: the invoice number, date, amount excluding tax, VAT, and amount including tax. Return the result in JSON."}
]
}
Diagrammu analīze
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/graphique-ventes.png"},
{"type": "input_text", "text": "This chart shows our monthly sales over 12 months. Identify trends, peaks, and troughs. Suggest possible explanations for the variations."}
]
}
Attēlu salīdzināšana
{
"input": [
{"type": "input_text", "text": "Compare these two versions of our logo:"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v1.png"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v2.png"},
{"type": "input_text", "text": "Identify the differences and recommend the best version for web use."}
]
}
Lietotāja saskarnes analīze
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/mockup.png"},
{"type": "input_text", "text": "Evaluate this mobile interface mockup based on the following criteria: readability, visual hierarchy, accessibility, consistency. Rate each criterion out of 10."}
]
}
Galvenie tehniskie ierobežojumi
- Maksimālais izmērs: 20 MB vienam attēlam
- Formāti: tikai JPG, JPEG un PNG (nav GIF, SVG vai WebP)
- Nav ierobežojuma attēlu skaitam vienā pieprasījumā
- xAI padoms: strādājot ar attēliem, Responses API izmanto
store: false, lai izvairītos no kļūdām, kas saistītas ar vēstures glabāšanu
Laba daudzmodālā uzvedņa rakstīšana
Tie paši skaidrības principi attiecas arī uz attēliem, ar dažām īpatnībām:
- Paziņo par attēlu: pastāsti modelim, ko tas redzēs, pirms nosūti attēlu
- Precizē uzdevumu: „Apraksti šo attēlu” ir neskaidri; „Ekstrahē datus no stabiņu diagrammas un atgriez tos CSV formātā” ir precīzi
- Vadi uzmanību: ja tevi interesē tikai attēla daļa, norādi to („Koncentrējies uz augšējo labo stūri”)
- Norādi izvades formātu: tāpat kā teksta uzvedņos, norādi, vai sagaidi JSON, sarakstu vai tabulu
Praktiskie vingrinājumi
Izveido ekrānuzņēmumu no informācijas paneļa, diagrammas vai dokumenta un nosūti to uz Grok ar konkrētu pieprasījumu. Pārbaudi, izmantojot detail: low un pēc tam detail: high, un salīdzini atbilžu kvalitāti un ātrumu.
Galvenās atziņas
- grok-4.5+ modeļi analizē attēlus papildus tekstam
- Parametrs
detail(low, auto, high) kontrolē analīzes dziļumu un tokena izmaksas - Attēlus var nodrošināt, izmantojot URL vai base64
- Paziņo par attēlu, precizē uzdevumu un norādi izvades formātu
- Izmanto
store: false, lai izvairītos no glabāšanas problēmām ar attēliem - Pieņemtie formāti ir tikai JPG, JPEG un PNG ar maksimālo izmēru 20 MB