Bildbeschreibung
Auf dieser Seite
Erkenntnisse aus Ihren Bildern extrahieren
Die Bildbeschreibung ist der natürlichste Anwendungsfall für die multimodale Vision von Grok. Sie senden ein Bild, stellen eine Frage und das Modell liefert eine detaillierte Textanalyse. Diese scheinbar einfache Fähigkeit eröffnet erhebliche Möglichkeiten in der Produktion.
Allgemeine Beschreibung
Die einfachste Anfrage besteht darin, eine freie Beschreibung zu verlangen:
response = client.responses.create(
model="grok-4.5",
input=[
{"type": "input_image", "image_url": url_image},
{"type": "input_text", "text": "Beschreiben Sie dieses Bild im Detail."}
]
)
Das Modell identifiziert Schlüsselelemente (Objekte, Personen, Text, Farben, Komposition) und erstellt einen beschreibenden Absatz. Für die meisten Bilder ist der Modus auto ausreichend.
Strukturierte Beschreibung
In der Produktion sind freie Beschreibungen selten nutzbar. Sie werden das Modell mit einem strukturierten Prompt leiten wollen:
prompt = """Analysieren Sie dieses Bild und geben Sie ein JSON zurück mit:
- "subject": das Hauptmotiv in einem Satz
- "objects": Liste der identifizierten Objekte
- "dominant_colors": die 3 Hauptfarben
- "mood": die allgemeine Stimmung (hell, dunkel, warm usw.)
- "visible_text": jeglicher im Bild lesbare Text
"""
response = client.responses.create(
model="grok-4.5",
input=[
{"type": "input_image", "image_url": url_image},
{"type": "input_text", "text": prompt}
]
)
Dieses Format ist bereit für Ihre Anwendung, um eine Datenbank, eine Suchmaschine oder einen Katalog zu füllen.
Beispiel: E-Commerce-Produktdatenblätter
Ein stark nachgefragter Anwendungsfall ist die automatische Generierung von Produktbeschreibungen aus Fotos:
def generate_product_sheet(image_url):
prompt = """Sie sind ein Experte für E-Commerce-Kopfschreiber. Basierend auf diesem
Produktfoto generieren Sie:
1. Einen ansprechenden Produkttitel (max. 80 Zeichen)
2. Eine Marketingbeschreibung (2-3 Sätze)
3. Sichtbare Merkmale (Material, Farbe, Form)
4. Relevante SEO-Schlüsselwörter (max. 5)
Antworten Sie in JSON."""
response = client.responses.create(
model="grok-4.5",
input=[
{"type": "input_image", "image_url": image_url, "detail": "high"},
{"type": "input_text", "text": prompt}
],
store=False
)
return response.output_text
Durch die Verwendung von detail: "high" erfasst das Modell feine Produktdetails (Texturen, Etiketten, Oberflächen), die die Beschreibung bereichern.
Beispiel: Alternativtext (Barrierefreiheit)
Die automatische Generierung von alt-Attributen für die Bilder Ihrer Website verbessert die Barrierefreiheit und die SEO:
def generate_alt_text(image_url):
prompt = """Generieren Sie Alternativtext (alt-Attribut) für dieses
Webbild. Der Text muss:
- Kurz sein (max. 125 Zeichen)
- Den Inhalt beschreiben, nicht den Stil
- Nicht mit "Bild von" oder "Foto von" beginnen
- Für einen Screenreader nützlich sein
Geben Sie nur den Alternativtext zurück, ohne Anführungszeichen."""
response = client.responses.create(
model="grok-4.5",
input=[
{"type": "input_image", "image_url": image_url, "detail": "low"},
{"type": "input_text", "text": prompt}
],
store=False
)
return response.output_text
Der Modus low ist hier ausreichend, da Alternativtext eine allgemeine Beschreibung und keine feingranulare Analyse ist.
Beispiel: Inhaltsmoderation
Sie können Vision nutzen, um automatisch Bilder zu filtern, die von Ihren Nutzern hochgeladen wurden:
def moderate_image(image_url):
prompt = """Analysieren Sie dieses Bild und klassifizieren Sie es:
- "safe": Inhalte, die für alle Zielgruppen geeignet sind
- "warning": sensible Inhalte, aber nicht verboten
- "reject": unangemessene Inhalte
Geben Sie ein JSON mit "classification" und "reason" zurück."""
response = client.responses.create(
model="grok-4.5",
input=[
{"type": "input_image", "image_url": image_url, "detail": "auto"},
{"type": "input_text", "text": prompt}
],
store=False
)
return response.output_text
Best Practices für Beschreibungen
- Seien Sie präzise in Ihrem Prompt: “Beschreiben Sie dieses Bild” erzeugt vage Ergebnisse. “Identifizieren Sie die Produkte, Farben und den sichtbaren Text” ist deutlich effektiver.
- Fordern Sie ein strukturiertes Format (JSON, Liste) an, um die automatische Verarbeitung zu erleichtern.
- Passen Sie das Detailniveau an den Bedarf an:
lowfür Klassifizierung,highfür feine Analysen. - Verwenden Sie
store: falsefür sensible Bilder oder solche, die der DSGVO unterliegen.
Kernaussagen
- Die Bildbeschreibung ist der grundlegende Anwendungsfall für die Grok-Vision.
- Strukturieren Sie Ihre Prompts, um nutzbare Antworten zu erhalten (JSON, Listen).
- Passen Sie den Parameter
detailan das erforderliche Präzisionsniveau an. - Häufige Anwendungen umfassen E-Commerce, Barrierefreiheit und Moderation.
- Denken Sie an
store: falsefür sensible Daten.