Prompturi multimodale
Pe această pagină
Text și imagini în același prompt
Modelele Grok 4.5 și versiunile ulterioare pot analiza imagini pe lângă text. Această capacitate multimodală deschide o gamă largă de posibilități: descrierea imaginilor, recunoașterea optică a caracterelor (OCR), analiza graficelor, comparația vizuală și multe altele.
Stăpânirea prompturilor multimodale vă permite să utilizați Grok atât ca asistent vizual, cât și ca asistent textual.
Trimiterea unei imagini către Grok
Cu API-ul Responses (punctul de acces principal), imaginile sunt integrate în câmpul input ca obiecte tipizate:
{
"model": "grok-4.5",
"input": [
{"type": "input_image", "image_url": "https://exemple.com/dashboard.png"},
{"type": "input_text", "text": "Analyze this dashboard and identify declining metrics."}
]
}
Cu API-ul Chat Completions (punct de acces legacy), structura este ușor diferită:
{
"model": "grok-4.5",
"messages": [{
"role": "user",
"content": [
{"type": "image_url", "image_url": {"url": "https://exemple.com/dashboard.png", "detail": "high"}},
{"type": "text", "text": "Analyze this dashboard and identify declining metrics."}
]
}]
}
Parametrul detail: controlul preciziei
Nivelul de detaliu influențează profunzimea analizei și numărul de tokeni consumați:
detail: low
Imaginea este procesată rapid, la o rezoluție redusă. Utilizați acest mod pentru:
- Clasificarea imaginilor (fotografie, ilustrație, diagramă)
- Descrierea conținutului general
- Identificarea obiectelor principale
- Sortarea imaginilor pe categorii
Consum: mai puțini tokeni, răspuns mai rapid.
detail: high
Imaginea este analizată la rezoluție înaltă. Utilizați acest mod pentru:
- Citirea textului dintr-o imagine (OCR)
- Analiza detaliilor dintr-un grafic sau diagramă
- Compararea elementelor vizuale precise
- Detectarea defectelor sau anomaliilor
Consum: mai mulți tokeni (între 256 și 1.792, în funcție de dimensiune), răspuns mai lent.
detail: auto
Modelul alege singur nivelul adecvat. Acesta este comportamentul implicit.
Surse de imagini
URL direct
Metoda cea mai simplă: furnizați un link HTTPS către imagine.
{"type": "input_image", "image_url": "https://exemple.com/photo.jpg"}
Base64 (data URI)
Pentru imaginile care nu sunt găzduite online, codificați-le în base64:
{"type": "input_image", "image_url": "data:image/png;base64,iVBORw0KGgo..."}
Această metodă este utilă pentru capturi de ecran, imagini generate programatic sau imagini provenite dintr-un flux de procesare.
Cazuri de utilizare practice
OCR și extragerea textului
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/facture.jpg"},
{"type": "input_text", "text": "Extract from this invoice: the invoice number, date, amount excluding tax, VAT, and amount including tax. Return the result in JSON."}
]
}
Analiza graficelor
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/graphique-ventes.png"},
{"type": "input_text", "text": "This chart shows our monthly sales over 12 months. Identify trends, peaks, and troughs. Suggest possible explanations for the variations."}
]
}
Comparația imaginilor
{
"input": [
{"type": "input_text", "text": "Compare these two versions of our logo:"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v1.png"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v2.png"},
{"type": "input_text", "text": "Identify the differences and recommend the best version for web use."}
]
}
Analiza interfeței utilizator
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/mockup.png"},
{"type": "input_text", "text": "Evaluate this mobile interface mockup based on the following criteria: readability, visual hierarchy, accessibility, consistency. Rate each criterion out of 10."}
]
}
Constrângeri tehnice cheie
- Dimensiune maximă: 20 MB per imagine
- Formate: doar JPG, JPEG și PNG (fără GIF, SVG sau WebP)
- Fără limită privind numărul de imagini per cerere
- Sfat xAI: utilizați
store: falseîn API-ul Responses când lucrați cu imagini pentru a evita erorile legate de stocarea istoricului
Redactarea unui prompt multimodal eficient
Aceleași principii de claritate se aplică, cu specificități pentru imagini:
- Anunțați imaginea: indicați modelului ce va vedea înainte de a trimite imaginea
- Fiți precis în privința sarcinii: „Descrieți această imagine“ este vag; „Extrageți datele din diagrama cu bare și returnați-le în CSV“ este precis
- Ghidați atenția: dacă doar o parte a imaginii vă interesează, specificați acest lucru („Concentrați-vă pe colțul din dreapta sus“)
- Specificați formatul de ieșire: ca și în cazul prompturilor textuale, precizați dacă așteptați JSON, o listă sau un tabel
Exercițiu practic
Faceți o captură de ecran a unui tablou de bord, grafic sau document și trimiteți-o către Grok cu o cerere specifică. Testați cu detail: low, apoi cu detail: high și comparați calitatea și viteza răspunsurilor.
Puncte cheie
- Modelele grok-4.5+ analizează imagini pe lângă text
- Parametrul
detail(low, auto, high) controlează profunzimea analizei și costul în tokeni - Imaginile pot fi furnizate prin URL sau base64
- Anunțați imaginea, fiți precis în privința sarcinii și specificați formatul de ieșire
- Utilizați
store: falsepentru a evita problemele de stocare cu imaginile - Formatele acceptate sunt limitate la JPG, JPEG și PNG, cu o dimensiune maximă de 20 MB