Attēlu izpratne tīmekļa meklēšanā
Šajā lapā
Analizē tīmeklī atrastos attēlus
Tīmekļa meklēšana sniedzas tālāk par tekstu. Izmantojot parametru enable_image_understanding, tu vari uzdot modelim analizēt attēlus, ar kuriem tas sastopas meklēšanas procesā. Šī funkcija ievērojami paplašina meklēšanas iespējas, it īpaši vizuālos jautājumos vai tematos, kuros attēli sniedz informāciju, kas papildina tekstu.
Aktivizēšana
Aktivizē šo funkciju, pievienojot parametru enable_image_understanding savai tīmekļa meklēšanas konfigurācijai:
{
"tools": [{
"type": "web_search",
"enable_image_understanding": true
}]
}
Kad funkcija ir aktivizēta, modelis var izmantot iekšējo rīku view_image, lai analizētu meklēšanas laikā atrastos attēlus. Tas automātiski izlemj, kuri attēli ir jāpārbauda.
SDK sintakse
xAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture and explain each component",
tools=[client.tools.web_search(
enable_image_understanding=True
)]
)
OpenAI SDK
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Show me the Transformer architecture",
tools=[{
"type": "web_search",
"enable_image_understanding": True
}]
)
Vercel AI SDK
tools: [xai.tools.webSearch({
enableImageUnderstanding: true
})]
Lietošanas gadījumi
Tehnisko diagramu analīze
Modelis spēj atrast un interpretēt arhitektūras diagrammas, plūsmas shēmas vai tehniskos grafikus. Tas ir īpaši noderīgi jautājumos par programmatūras arhitektūrām vai rūpnieciskiem procesiem.
Vizuāla produktu salīdzināšana
Salīdzinošos vaicājumos modelis var analizēt tīmeklī atrastos ekrānuzņēmumus vai produktu fotogrāfijas un izdarīt no tiem atbilstošus secinājumus.
Vizuālo datu analīze
Ja tavs jautājums attiecas uz datiem, kas prezentēti diagrammu vai vizuālo tabulu veidā, attēlu izpratne ļauj modelim iegūt informāciju no šiem vizuālajiem attēlojumiem.
Kombinēšana ar citiem parametriem
Attēlu izpratni var kombinēt ar domēnu filtrēšanu:
response = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Analyze the latest LLM performance benchmarks",
tools=[{
"type": "web_search",
"allowed_domains": ["arxiv.org", "huggingface.co"],
"enable_image_understanding": True
}]
)
Modelis meklēs tikai atļautajos domēnos un varēs analizēt publikācijās atrodamās salīdzinošo rādītāju diagrammas.
Ietekme uz izmaksām
Attēlu izpratnes aktivizēšana palielina tokena patēriņu. Katra attēla analīze ģenerē papildu tokenus ievadei (kodētais attēls) un izvadei (apraksts/analīze). Izmaksas par vienu izsaukumu paliek nemainīgas (0,005 USD), taču tokena apjoms vienā pieprasījumā var ievērojami pieaugt.
Aktivizē šo funkciju tikai tad, ja attēli tavam lietojumam pievieno reālu vērtību. Tīri tekstā balstītām meklēšanām atstāj šo parametru deaktivizētu, lai optimizētu izmaksas.
Atšķirība no X Search
Attēlu izpratne ir pieejama gan tīmekļa meklēšanai (Web Search), gan X Search. Tomēr video izpratne (enable_video_understanding) ir ekskluzīva tikai X Search. Tīmekļa meklēšana nevar analizēt tīmeklī atrastos video.
Galvenās atziņas
- Aktivizē ar
enable_image_understanding: truetīmekļa meklēšanas konfigurācijā - Modelis izmanto
view_imageiekšēji, lai analizētu atbilstošos attēlus - Noderīgi diagrammām, grafikiem, ekrānuzņēmumiem un vizuālai salīdzināšanai
- Palielina tokena patēriņu – aktivizē tikai tad, ja tas ir nepieciešams
- Kombinējams ar domēnu filtrēšanu precīzai avotu kontrolei
- Video izpratne ir pieejama tikai X Search