Rozumienie obrazów w wyszukiwarce internetowej
Na tej stronie
Analiza obrazów znalezionych w sieci
Wyszukiwanie w sieci wykracza poza sam tekst. Dzięki parametrowi enable_image_understanding możesz poprosić model o analizę obrazów, na które natknie się podczas przeszukiwania internetu. Funkcja ta znacząco rozszerza możliwości wyszukiwania, szczególnie w przypadku pytań wizualnych lub tematów, w których obrazy dostarczają informacji uzupełniających tekst.
Aktywacja
Włącz tę funkcję, dodając parametr enable_image_understanding do konfiguracji wyszukiwania w sieci:
{
"tools": [{
"type": "web_search",
"enable_image_understanding": true
}]
}
Gdy funkcja jest włączona, model może użyć wewnętrznego narzędzia view_image do analizy obrazów napotkanych podczas wyszukiwania. Automatycznie decyduje, które obrazy są istotne i warto je zbadać.
Składnia SDK
xAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture and explain each component",
tools=[client.tools.web_search(
enable_image_understanding=True
)]
)
OpenAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Vercel AI SDK
tools: [xai.tools.webSearch({
enableImageUnderstanding: true
})]
Przypadki użycia
Analiza diagramów technicznych
Model potrafi znaleźć i zinterpretować diagramy architektury, schematy blokowe lub wykresy techniczne. Jest to szczególnie przydatne w przypadku pytań dotyczących architektury oprogramowania lub procesów przemysłowych.
Wizualne porównywanie produktów
W przypadku zapytań porównawczych model może analizować zrzuty ekranu lub zdjęcia produktów znalezione w sieci i wyciągać z nich istotne wnioski.
Wizualna analiza danych
Jeśli Twoje pytanie dotyczy danych przedstawionych w formie wykresów lub tabel wizualnych, rozumienie obrazów pozwala modelowi wydobyć informacje z tych reprezentacji graficznych.
Łączenie z innymi parametrami
Rozumienie obrazów można łączyć z filtrowaniem domen:
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Analyze the latest LLM performance benchmarks",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org", "huggingface.co"],
"enable_image_understanding": True
}]
)
Model będzie wyszukiwał wyłącznie w dozwolonych domenach i będzie mógł analizować wykresy benchmarków znalezione w publikacjach.
Wpływ na koszty
Włączenie rozumienia obrazów zwiększa zużycie tokenów. Analiza każdego obrazu generuje dodatkowe tokeny dla danych wejściowych (zakodowany obraz) i wyjściowych (opis/analiza). Koszt pojedynczego wywołania pozostaje taki sam (0,005 USD), ale liczba tokenów na żądanie może znacznie wzrosnąć.
Włączaj tę funkcję tylko wtedy, gdy obrazy realnie podnoszą wartość Twojego przypadku użycia. W przypadku wyszukiwania opartego wyłącznie na tekście pozostaw ten parametr wyłączony, aby zoptymalizować koszty.
Różnica względem wyszukiwania w X
Rozumienie obrazów jest dostępne zarówno dla wyszukiwania w sieci (Web Search), jak i wyszukiwania w X (X Search). Jednakże rozumienie wideo (enable_video_understanding) jest wyłączne dla wyszukiwania w X. Wyszukiwanie w sieci nie potrafi analizować filmów znalezionych w internecie.
Kluczowe wnioski
- Włącz przez
enable_image_understanding: truew konfiguracji wyszukiwania w sieci - Model używa wewnętrznie narzędzia
view_imagedo analizy istotnych obrazów - Przydatne do diagramów, wykresów, zrzutów ekranu i porównań wizualnych
- Zwiększa zużycie tokenów – włączaj tylko w razie potrzeby
- Łączy się z filtrowaniem domen dla precyzyjnej kontroli źródeł
- Rozumienie wideo jest wyłączne dla wyszukiwania w X