Analizuj obraz za pomocą Grok
Na tej stronie
Widzenie komputerowe z API Grok
Modele Grok obsługujące widzenie potrafią analizować zarówno obrazy, jak i tekst. Wysyłasz obraz (poprzez URL lub w formacie base64) wraz z pytaniem, a model go opisuje, analizuje lub wydobywa z niego informacje wizualne. Ta możliwość otwiera konkretne scenariusze zastosowań: ekstrakcja danych ze zrzutów ekranu, analiza wykresów, odczyt zeskanowanych dokumentów.
Format danych wejściowych dla obrazu
Aby wysłać obraz, użyj tablicy zawierającej mieszane treści (tekst i obraz) w polu input:
[
{
"type": "input_image",
"image_url": "https://exemple.com/mon-image.jpg"
},
{
"type": "input_text",
"text": "What do you see in this image?"
}
]
Typ input_image przyjmuje publiczny adres URL obrazu. Typ input_text zawiera Twoje pytanie lub instrukcję.
Przykład w Pythonie
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": "https://exemple.com/graphique-ventes.png"
},
{
"type": "input_text",
"text": "Analyze this chart. What's the main trend?"
}
]
)
print(response.output[0].content[0].text)
Użycie formatu chat/completions
Jeśli korzystasz z przestarzałego punktu końcowego /v1/chat/completions, format jest nieco inny:
response = client.chat.completions.create(
model="grok-4.5",
messages=[
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {"url": "https://exemple.com/photo.jpg"}
},
{
"type": "text",
"text": "Describe this image in detail."
}
]
}
]
)
Różnice w formacie
| Punkt końcowy | Typ obrazu | Typ tekstu |
|---|---|---|
/v1/responses | input_image | input_text |
/v1/chat/completions | image_url | text |
Wysyłanie obrazu w formacie base64
Jeśli Twój obraz nie jest dostępny pod adresem URL (plik lokalny, obraz wygenerowany dynamicznie), zakoduj go w formacie base64:
import base64
with open("capture.png", "rb") as f:
image_base64 = base64.b64encode(f.read()).decode("utf-8")
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": f"data:image/png;base64,{image_base64}"
},
{
"type": "input_text",
"text": "Read the text in this screenshot."
}
]
)
Praktyczne przypadki użycia
Ekstrakcja danych
Wyślij zdjęcie faktury lub paragonu i poproś model o wyodrębnienie kwot, dat oraz numerów referencyjnych.
Analiza wykresów
Prześlij wykres lub diagram i poproś o interpretację trendów oraz kluczowych wartości.
Pomoc w programowaniu
Udostępnij zrzut ekranu błędu w swoim IDE i poproś o wyjaśnienie przyczyny oraz sugestię naprawy.
Opis interfejsu
Wyślij makietę lub zrzut ekranu i poproś model o opisanie zawartych w nim elementów interfejsu.
Modele obsługujące widzenie
Nie każdy model Grok obsługuje widzenie. Używaj modelu grok-4.5, który zawiera obsługę obrazów. Modele „Mini“ lub „fast“ mogą mieć ograniczoną obsługę lub nie obsługiwać jej wcale.
Kluczowe wnioski
- Używaj typu
input_imagez punktem końcowym/v1/responses, aby wysyłać obrazy - Możesz wysyłać obrazy poprzez publiczny adres URL lub w kodowaniu base64
- Model
grok-4.5obsługuje analizę obrazów - Łącz obraz i tekst w tablicy, aby zadawać pytania dotyczące treści wizualnych