Rozumienie obrazów w wyszukiwarce internetowej
Na tejto strane
Analiza obrazów znalezionych w sieci
Wyszukiwanie w sieci wykracza poza sam tekst. Dzięki parametrowi enable_image_understanding możesz poprosić model o analizę obrazów, na które natknie się podczas przeszukiwania sieci. Funkcja ta znacznie rozszerza możliwości wyszukiwania, szczególnie w przypadku pytań wizualnych lub tematów, w których obrazy dostarczają informacji uzupełniających tekst.
Aktywacja
Włącz tę funkcję, dodając parametr enable_image_understanding do konfiguracji wyszukiwania w sieci:
{
"tools": [{
"type": "web_search",
"enable_image_understanding": true
}]
}
Gdy funkcja jest włączona, model może użyć wewnętrznego narzędzia view_image do analizy obrazów napotkanych podczas wyszukiwania. Automatycznie decyduje, które obrazy są istotne i warto je zbadać.
Składnia SDK
xAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture and explain each component",
tools=[client.tools.web_search(
enable_image_understanding=True
)]
)
OpenAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Vercel AI SDK
tools: [xai.tools.webSearch({
enableImageUnderstanding: true
})]
Przypadki użycia
Analiza diagramów technicznych
Model potrafi znaleźć i zinterpretować diagramy architektury, schematy blokowe lub wykresy techniczne. Jest to szczególnie przydatne w przypadku pytań dotyczących architektury oprogramowania lub procesów przemysłowych.
Wizualne porównywanie produktów
W przypadku zapytań porównawczych model może analizować zrzuty ekranu lub zdjęcia produktów znalezione w sieci i wyciągać z nich odpowiednie wnioski.
Wizualna analiza danych
Jeśli Twoje pytanie dotyczy danych przedstawionych w postaci wykresów lub tabel wizualnych, rozumienie obrazów pozwala modelowi wydobyć informacje z tych reprezentacji graficznych.
Łączenie z innymi parametrami
Rozumienie obrazów można łączyć z filtrowaniem domen:
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Analyze the latest LLM performance benchmarks",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org", "huggingface.co"],
"enable_image_understanding": True
}]
)
Model będzie wyszukiwał wyłącznie w dozwolonych domenach i będzie mógł analizować wykresy benchmarków znalezione w publikacjach.
Wpływ na koszty
Włączenie rozumienia obrazów zwiększa zużycie tokenów. Analiza każdego obrazu generuje dodatkowe tokeny dla danych wejściowych (zakodowany obraz) i wyjściowych (opis/analiza). Koszt jednego wywołania pozostaje taki sam (0,005 USD), ale liczba tokenów na żądanie może znacznie wzrosnąć.
Włącz tę funkcję tylko wtedy, gdy obrazy realnie podnoszą wartość Twojego przypadku użycia. W przypadku wyszukiwania opartego wyłącznie na tekście pozostaw ten parametr wyłączony, aby zoptymalizować koszty.
Różnica względem X Search
Rozumienie obrazów jest dostępne zarówno dla wyszukiwania w sieci (Web Search), jak i dla X Search. Jednakże rozumienie wideo (enable_video_understanding) jest wyłączne dla X Search. Wyszukiwanie w sieci nie potrafi analizować wideo znalezionych w internecie.
Kluczowe poznatky
- Włącz przez
enable_image_understanding: truew konfiguracji wyszukiwania w sieci - Model używa wewnętrznie
view_imagedo analizy odpowiednich obrazów - Przydatne do diagramów, wykresów, zrzutów ekranu i porównań wizualnych
- Zwiększa zużycie tokenów – włączaj tylko w razie potrzeby
- Łączy się z filtrowaniem domen dla precyzyjnej kontroli źródeł
- Rozumienie wideo jest wyłączne dla X Search