Zrozumienie i analiza obrazów
Na tej stronie
Wizja Grok
Grok nie ogranicza się tylko do tekstu. Modele grok-4.5 i nowsze posiadają możliwości wizyjne, które pozwalają im analizować obrazy dostarczone jako dane wejściowe. Możesz przesłać zdjęcie, zrzut ekranu, wykres lub dowolny inny materiał wizualny, a Grok przygotuje dla Ciebie szczegółowy opis, analizę lub odpowiedź osadzoną w kontekście. To zmienia zasady gry: sfotografowany pulpit nawigacyjny, pognieciona faktura czy makieta aplikacji stają się użytecznymi dokumentami, tak samo jak tekst wklejony do rozmowy.
Jak przesłać obraz
Na stronie grok.com proces składa się z czterech kroków:
- Kliknij przycisk załącznika w polu wprowadzania tekstu
- Wybierz obraz ze swojego urządzenia
- Opcjonalnie dodaj wiadomość tekstową, aby ukierunkować analizę
- Wyślij swoją wiadomość
Na urządzeniach mobilnych możesz również zrobić zdjęcie bezpośrednio aparatem w telefonie i wysłać je do Grok w celu analizy. To najszybsza metoda, gdy masz do czynienia ze znakiem, menu lub ekranem, którego nie możesz skopiować i wkleić.
Dla deweloperów obrazy przesyła się poprzez mieszana tablicę obiektów w polu danych wejściowych:
response = client.responses.create(
model="grok-4.5",
input=[
{"type": "input_image", "image_url": "https://exemple.com/photo.jpg"},
{"type": "input_text", "text": "Describe this image in detail"}
]
)
Możesz dostarczyć obrazy jako publiczny adres URL lub zakodowane w formacie base64. Wybór ma znaczenie: publiczny URL wymaga obrazu dostępnego z zewnątrz, co wyklucza dokumenty wewnętrzne; base64 zwiększa wagę żądania, ale jest jedyną opcją dla plików poufnych.
O co właściwie możesz zapytać
Opis to najbardziej oczywiste zastosowanie. Grok szczegółowo wymienia obecne obiekty, kolory, kompozycję, nastrój oraz osoby i ich wyraz twarzy. Nadal musisz odpowiednio sformułować zapytanie, inaczej otrzymasz płaską inwentaryzację:
Opisz szczegółowo to zdjęcie.
Jaki jest główny temat i jakie elementy
drugoplanowe zauważasz?
Ekstrakcja tekstu, czyli OCR, to prawdopodobnie najbardziej wartościowe zastosowanie na co dzień. Grok odczytuje i przepisuje tekst ze zdjęć dokumentów, zrzutów ekranu, znaków i plakatów, menu restauracyjnych oraz wizytówek: we wszystkich tych przypadkach ręczne przepisywanie informacji zajmuje kilka minut. Poproszenie jednocześnie o odpowiednie formatowanie oszczędza drugą rundę komunikacji:
Wyodrębnij cały widoczny tekst z tego obrazu
i przedstaw go w czytelny sposób.
Analiza wykresów i diagramów wykracza poza samo odczytywanie: Grok interpretuje wykresy statystyczne, schematy blokowe i diagramy techniczne, potrafiąc wyjaśnić, co przedstawiają. Jest to szczególnie przydatne, gdy raport w formacie PDF ukrywa swoje wnioski wewnątrz rysunku:
Przeanalizuj ten wykres. Jakie są główne trendy
i jakie wnioski możemy z tego wyciągnąć?
Możesz również przesłać kilka obrazów w tym samym żądaniu, aby Grok mógł je porównać, co zamienia przegląd projektu w rozmowę:
Oto dwie wersje projektu. Jakie są
główne różnice między nimi?
Na koniec, projektanci i deweloperzy wykorzystują tę funkcję wizyjną na własnych ekranach, prosząc o krytykę użyteczności, a nie tylko o opis:
Przeanalizuj ten zrzut ekranu aplikacji mobilnej.
Jakie problemy z użytecznością widzisz?
Ustawienie poziomu szczegółowości
Poprzez API parametr detail kontroluje głębokość analizy obrazu i przyjmuje trzy wartości:
- auto: model wybiera odpowiedni poziom (domyślnie)
- low: szybka, niedroga analiza zużywająca mniej tokenów
- high: szczegółowa, dogłębna analiza zużywająca więcej tokenów
Ustawienie to pozwala balansować między precyzją a kosztem, zależnie od przypadku. Do prostego OCR na fakturze wystarczy low, co obniża koszt przy tysiącach dokumentów; do finezyjnej analizy artystycznej lub gęstego wykresu ustawienie high zapobiega błędnemu odczytowi.
Ograniczenia, o których warto wiedzieć
| Ograniczenie | Wartość |
|---|---|
| Maksymalny rozmiar | 20 MiB na obraz |
| Akceptowane formaty | Tylko JPG, JPEG i PNG |
| Liczba obrazów | Brak limitu na żądanie |
| Zużycie tokenów | Od 256 do 1792 tokenów, w zależności od rozmiaru i poziomu szczegółowości |
Kilka nawyków pozwala maksymalnie wykorzystać te możliwości. Formułuj swoje zapytania precyzyjnie, zamiast prosić o ogólny opis: „ile produktów jest niedostępnych na tym zrzucie ekranu“ daje lepsze rezultaty niż „opisz ten obraz“. Zmieniaj rozmiar dużych plików, które spowalniają przetwarzanie, nie wnosząc niczego nowego. Zawsze dołączaj wiadomość tekstową do obrazu, ponieważ kontekst zauważalnie poprawia trafność odpowiedzi. Kieruj się też logiką formatów: JPG do fotografii, PNG do zrzutów ekranu i wszelkich grafik zawierających tekst, ponieważ kompresja JPG rozmywa drobne znaki i powoduje błędy w działaniu OCR.
Kluczowe wnioski
- Modele grok-4.5 i nowsze potrafią analizować obrazy przesłane jako dane wejściowe
- Przypadki użycia obejmują opis, OCR, analizę wykresów i porównywanie
- Obrazy można dostarczać poprzez URL lub w formacie base64
- Ustawienie szczegółowości pozwala kontrolować kompromis między precyzją a kosztem
- Maksymalny rozmiar to 20 MiB, obsługiwane są wyłącznie formaty JPG i PNG