Monity z wieloma modalnościami
Na tej stronie
Tekst i obrazy w tym samym monicie
Modele Grok 4.5 i nowsze potrafią analizować obrazy oprócz tekstu. Ta wielomodalna zdolność otwiera szeroki wachlarz możliwości: opisywanie obrazów, OCR, analiza wykresów, porównania wizualne i wiele innych.
Opanowanie monitów wielomodalnych pozwala używać Groka nie tylko jako asystenta tekstowego, ale także wizualnego.
Wysyłanie obrazu do Groka
W przypadku API Responses (główny punkt końcowy) obrazy są integrowane w polu input jako obiekty typowane:
{
"model": "grok-4.5",
"input": [
{"type": "input_image", "image_url": "https://exemple.com/dashboard.png"},
{"type": "input_text", "text": "Analyze this dashboard and identify declining metrics."}
]
}
W przypadku API Chat Completions (przestarzały punkt końcowy) struktura wygląda nieco inaczej:
{
"model": "grok-4.5",
"messages": [{
"role": "user",
"content": [
{"type": "image_url", "image_url": {"url": "https://exemple.com/dashboard.png", "detail": "high"}},
{"type": "text", "text": "Analyze this dashboard and identify declining metrics."}
]
}]
}
Parametr detail: kontrola dokładności
Poziom szczegółowości wpływa na głębię analizy oraz liczbę zużytych tokenów:
detail: low
Obraz jest przetwarzany szybko w zmniejszonej rozdzielczości. Używaj tego trybu, aby:
- Klasyfikować obrazy (zdjęcie, ilustracja, diagram)
- Opisywać ogólną zawartość
- Identyfikować główne obiekty
- Sortować obrazy według kategorii
Zużycie: mniej tokenów, szybsza odpowiedź.
detail: high
Obraz jest analizowany w wysokiej rozdzielczości. Używaj tego trybu, aby:
- Odczytywać tekst na obrazie (OCR)
- Analizować szczegóły na wykresie lub diagramie
- Porównywać precyzyjne elementy wizualne
- Wykrywać defekty lub anomalie
Zużycie: więcej tokenów (od 256 do 1792 w zależności od rozmiaru), wolniejsza odpowiedź.
detail: auto
Model sam wybiera odpowiedni poziom. Jest to domyślne zachowanie.
Źródła obrazów
Bezpośredni adres URL
Najprostsza metoda: podaj link HTTPS do obrazu.
{"type": "input_image", "image_url": "https://exemple.com/photo.jpg"}
Base64 (data URI)
W przypadku obrazów niehostowanych online zakoduj je w formacie base64:
{"type": "input_image", "image_url": "data:image/png;base64,iVBORw0KGgo..."}
Metoda ta przydaje się przy zrzutach ekranu, obrazach generowanych programowo lub obrazach pochodzących z potoku przetwarzania danych.
Praktyczne przypadki użycia
OCR i ekstrakcja tekstu
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/facture.jpg"},
{"type": "input_text", "text": "Extract from this invoice: the invoice number, date, amount excluding tax, VAT, and amount including tax. Return the result in JSON."}
]
}
Analiza wykresu
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/graphique-ventes.png"},
{"type": "input_text", "text": "This chart shows our monthly sales over 12 months. Identify trends, peaks, and troughs. Suggest possible explanations for the variations."}
]
}
Porównanie obrazów
{
"input": [
{"type": "input_text", "text": "Compare these two versions of our logo:"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v1.png"},
{"type": "input_image", "image_url": "https://exemple.com/logo-v2.png"},
{"type": "input_text", "text": "Identify the differences and recommend the best version for web use."}
]
}
Analiza interfejsu użytkownika
{
"input": [
{"type": "input_image", "image_url": "https://exemple.com/mockup.png"},
{"type": "input_text", "text": "Evaluate this mobile interface mockup based on the following criteria: readability, visual hierarchy, accessibility, consistency. Rate each criterion out of 10."}
]
}
Kluczowe ograniczenia techniczne
- Maksymalny rozmiar: 20 MB na obraz
- Formaty: tylko JPG, JPEG i PNG (brak obsługi GIF, SVG ani WebP)
- Brak limitu liczby obrazów na żądanie
- Wskazówka xAI: użyj
store: falsew API Responses podczas pracy z obrazami, aby uniknąć błędów związanych z przechowywaniem historii
Tworzenie dobrego monitu wielomodalnego
Obowiązują te same zasady jasności, z pewnymi specyfikami dotyczącymi obrazów:
- Zapowiedz obraz: powiedz modelowi, co zobaczy, zanim wyślesz obraz
- Bądź precyzyjny co do zadania: „Opisz ten obraz“ jest niejasne; „Wyodrębnij dane z wykresu słupkowego i zwróć je w formacie CSV“ jest precyzyjne
- Kieruj uwagę: jeśli interesuje Cię tylko część obrazu, wskaż to („Skup się na prawym górnym rogu“)
- Określ format wyjścia: podobnie jak w monitach tekstowych, określ, czy oczekujesz JSON-a, listy czy tabeli
Ćwiczenia praktyczne
Zrób zrzut ekranu pulpitu nawigacyjnego, wykresu lub dokumentu i wyślij go do Groka ze szczegółowym poleceniem. Przetestuj ustawienia detail: low, a następnie detail: high i porównaj jakość oraz szybkość odpowiedzi.
Kluczowe wnioski
- Modele grok-4.5 i nowsze analizują obrazy oprócz tekstu
- Parametr
detail(low, auto, high) kontroluje głębokość analizy i koszt tokenów - Obrazy można dostarczać poprzez adres URL lub base64
- Zapowiedz obraz, precyzyjnie określ zadanie i podaj format wyjścia
- Używaj
store: false, aby uniknąć problemów z przechowywaniem obrazów - Akceptowane formaty są ograniczone do JPG, JPEG i PNG, z maksymalnym rozmiarem 20 MB