Redze: attēlu analīze ar Grok
Šajā lapā
Attēlu izpratne, izmantojot tērzēšanas pabeigšanas (Chat Completions)
Grok modeļi (sākot no grok-4.5) ietver redzes spējas, kas ļauj analizēt, aprakstīt un spriest par attēliem. Šo funkciju izmanto, izmanojot lauka content masīva formātu, apvienojot objektus text un image_url.
Lietošanas gadījumi ir daudzveidīgi: teksta ekstrakcija no skenētiem dokumentiem (OCR), diagrammu analīze, lietotāja saskarņu aprakstīšana, vizuāla salīdzināšana vai tehnisko shēmu interpretācija.
Attēla nosūtīšana, izmantojot URL
Vienkāršākais veids ir norādīt publisku attēla URL:
from openai import OpenAI
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Describe what you see in this image."},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/photo-architecture.jpg",
"detail": "high"
}
}
]
}
]
)
print(response.choices[0].message.content)
xAI serveri lejupielādē attēlu pieprasījuma veikšanas brīdī. Tam ir jābūt publiski pieejamam.
Attēla nosūtīšana formātā Base64
Lokāliem vai privātiem attēliem izmanto base64 kodējumu:
import base64
def encode_image(image_path: str) -> str:
with open(image_path, "rb") as f:
return base64.b64encode(f.read()).decode("utf-8")
image_data = encode_image("capture-ecran.png")
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What text is visible in this screenshot?"},
{
"type": "image_url",
"image_url": {
"url": f"data:image/png;base64,{image_data}"
}
}
]
}
]
)
URL formāts ir data:image/{format};base64,{data}, kur {format} ir jpeg, jpg vai png.
Detaļas līmeņi: auto, low un high
Parametrs detail kontrolē izšķirtspēju, kādā modelis analizē attēlu:
detail: “low”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/icone.png",
"detail": "low"
}
}
Attēls tiek samazināts līdz zemas izšķirtspējas versijai pirms analīzes. Šis ir ātrākais režīms, kas patērē vismazāk tokenus. Izmanto to vienkāršiem attēliem: ikonām, logotipiem, pamata diagrammām.
detail: “high”
{
"type": "image_url",
"image_url": {
"url": "https://example.com/document-scan.jpg",
"detail": "high"
}
}
Attēls tiek analizēts augstā izšķirtspējā. Modelis spēj nolasīt smalku tekstu, identificēt sīkas detaļas un analizēt konkrētas apgabala daļas. Šis ir ieteicamais režīms dokumentiem, ekrānuzņēmumiem un detalizētām fotogrāfijām.
detail: “auto”
Modelis automātiski izvēlas detaļas līmeni, balstoties uz attēla izmēru un sarežģītību. Šī ir noklusējuma vērtība, ja parametru izlaižat.
Vairāku attēlu analīze
Vienā ziņojumā vari nosūtīt vairākus attēlus salīdzināšanai vai krustanalīzes uzdevumiem:
response = client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Compare these two versions of the design. What are the differences?"},
{"type": "image_url", "image_url": {"url": "https://example.com/v1.png", "detail": "high"}},
{"type": "image_url", "image_url": {"url": "https://example.com/v2.png", "detail": "high"}}
]
}
]
)
Nav ierobežojumu attēlu skaitam vienā pieprasījumā, taču katrs attēls patērē papildu tokenus.
Tehniskie ierobežojumi
Izmantojot redzes funkcionalitāti, ņem vērā šos ierobežojumus:
- Maksimālais izmērs: 20 MiB vienam attēlam
- Atbalstītie formāti: tikai JPG, JPEG un PNG
- Saderīgi modeļi: grok-4 un jaunāki (vecāki modeļi neatbalsta redzi)
- Tokeni: attēli patērē tokenus, kas tiek pieskaitīti pieprasījuma teksta izmaksām
Galvenās atziņas
- Redze izmanto lauka
contentmasīva formātu ar objektiemimage_url - Attēlus var nosūtīt, izmantojot publisku URL vai kodētus base64 formātā
- Trīs detaļas līmeņi:
auto(noklusējums),low(ātrs/ekonomisks) unhigh(detalizēts) - Maksimālais izmērs ir 20 MiB vienam attēlam, atbalstīti tikai JPG un PNG formāti
- Vienā ziņojumā var nosūtīt vairākus attēlus salīdzināšanai