Analyser et billede med Grok
På denne side
Computervision med Grok API
Grok-modeller med understøttelse af vision kan analysere både billeder og tekst. Du sender et billede (via URL eller i base64) sammen med et spørgsmål, og modellen beskriver det, analyserer det eller udtrækker visuel information. Denne funktion åbner op for konkrete muligheder: udtræk af data fra skærmbilleder, analyse af diagrammer og læsning af scannede dokumenter.
Format for billedinput
For at sende et billede bruger du et array med blandet indhold (tekst og billede) i feltet input:
[
{
"type": "input_image",
"image_url": "https://exemple.com/mon-image.jpg"
},
{
"type": "input_text",
"text": "What do you see in this image?"
}
]
Typen input_image tager en offentlig URL til billedet. Typen input_text indeholder dit spørgsmål eller din instruktion.
Python-eksempel
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": "https://exemple.com/graphique-ventes.png"
},
{
"type": "input_text",
"text": "Analyze this chart. What's the main trend?"
}
]
)
print(response.output[0].content[0].text)
Med formatet chat/completions
Hvis du bruger det ældre endpoint /v1/chat/completions, er formatet lidt anderledes:
response = client.chat.completions.create(
model="grok-4.5",
messages=[
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {"url": "https://exemple.com/photo.jpg"}
},
{
"type": "text",
"text": "Describe this image in detail."
}
]
}
]
)
Forskelle i format
| Endpoint | Billedtype | Teksttype |
|---|---|---|
/v1/responses | input_image | input_text |
/v1/chat/completions | image_url | text |
Send et billede i base64
Hvis dit billede ikke er tilgængeligt via en URL (f.eks. en lokal fil eller et genereret billede), skal du kode det i base64:
import base64
with open("capture.png", "rb") as f:
image_base64 = base64.b64encode(f.read()).decode("utf-8")
response = client.responses.create(
model="grok-4.5",
input=[
{
"type": "input_image",
"image_url": f"data:image/png;base64,{image_base64}"
},
{
"type": "input_text",
"text": "Read the text in this screenshot."
}
]
)
Reelle brugssager
Dataudtræk
Send et foto af en faktura eller en kvittering, og bed modellen om at udtrække beløb, datoer og referencenumre.
Diagramanalyse
Indsend et diagram eller et diagram, og bed om en fortolkning af tendenser og nøgletal.
Hjælp til kodning
Del et skærmbillede af en fejl i dit IDE, og bed om en forklaring og en løsning.
Beskrivelse af grænseflade
Send en mockup eller et skærmbillede, og bed modellen beskrive de grænsefladeelementer, den indeholder.
Modeller med vision-understøttelse
Ikke alle Grok-modeller understøtter vision. Brug grok-4.5, som inkluderer understøttelse af billeder. „Mini”- eller „fast”-modeller kan have begrænset eller ingen understøttelse.
Vigtige pointer
- Brug typen
input_imagemed endpointet/v1/responsestil at sende billeder - Du kan sende billeder via offentlig URL eller base64-kodet
- Modellen
grok-4.5understøtter billedanalyse - Kombiner billede og tekst i et array for at stille spørgsmål om visuelt indhold