image_generation-Tool: Bilder erstellen

Bilder über Ihren Agenten generieren

Das image_generation-Tool ermöglicht es Ihrem Agenten, Bilder aus Textbeschreibungen zu erstellen. Es ergänzt die Tools, die Sie bereits kennengelernt haben: Während code_interpreter Zahlen und Diagramme erzeugt, produziert dieses Tool visuelle Inhalte. Es ist ein leistungsstarkes Instrument für kreative Anwendungsfälle, die Erstellung von Mockups oder die Veranschaulichung von Konzepten. Wie andere eingebaute Tools aktivieren Sie es beim Erstellen des Agenten, und das Modell entscheidet basierend auf der Anfrage, ob es aufgerufen wird.

Einen Agenten mit Bildgenerierung erstellen

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

agent = client.beta.agents.create(
    model="mistral-medium-latest",
    name="Creative Agent",
    instructions="""You are a creative assistant specialized in image generation.
- Rephrase requests into detailed prompts for better results
- Describe the image you are about to generate before creating it
- Propose variations if the result is unsatisfactory""",
    tools=[{"type": "image_generation"}],
    completion_args={"temperature": 0.3, "top_p": 0.95}
)

Instruktionen haben hier erhebliches Gewicht. Durch die Aufforderung, die Anfrage in einen detaillierten Prompt umzuformulieren, verwandeln Sie eine vage Anweisung wie „Erstelle mir ein Bild von einer Katze” in eine ausführbare Beschreibung. Durch die Anforderung, das Bild vor der Generierung zu beschreiben, erhalten Sie die Möglichkeit, Korrekturen vorzunehmen, bevor die Generierung stattfindet. Eine Temperatur von 0,3 hält diese Umformulierung diszipliniert: Sie wünschen sich beschreibende Präzision, keine freie Erfindung.

Ein Bild generieren

response = client.beta.conversations.start(
    agent_id=agent.id,
    inputs="Generate an image of an orange cat in a modern office."
)

Hinter diesem einzelnen Aufruf verknüpft der Agent vier Schritte: Er analysiert Ihre Anfrage, formuliert einen für das Generierungsmodell optimierten Prompt, erstellt das Bild und gibt schließlich die Datei zurück. Diese Schritte erscheinen in den Gesprächsausgaben, sodass Sie sehen können, welcher Prompt welches Bild erzeugt hat. Dies ist von unschätzbarem Wert, wenn ein Ergebnis Ihren Wünschen entspricht und Sie es reproduzieren möchten.

Generierte Bilder herunterladen

Bilder werden nicht als Text in der Antwort zurückgegeben: Sie kommen als ToolFileChunk-Objekte im Inhalt an, und Sie rufen die eigentliche Datei über die Files-API ab.

from mistralai.client.models import ToolFileChunk

for i, chunk in enumerate(response.outputs[-1].content):
    if isinstance(chunk, ToolFileChunk):
        # Download the image file
        file_bytes = client.files.download(file_id=chunk.file_id).read()

        # Save locally
        with open(f"image_{i}.png", "wb") as f:
            f.write(file_bytes)
        print(f"Image saved: image_{i}.png")

Drei gängige Anwendungsfälle

Der erste ist die Illustration von Dokumentationen, bei der ein Diagramm besser erklärt als ein Absatz.

response = client.beta.conversations.start(
    agent_id=agent.id,
    inputs="Create a visual diagram showing a microservices architecture with an API Gateway, 3 services, and a database."
)

Der zweite sind visuelle Mockups, um eine Richtung zu materialisieren, bevor ein Designer engagiert wird.

response = client.beta.conversations.start(
    agent_id=agent.id,
    inputs="Generate a homepage mockup for an online learning website, modern and minimalist style with blue tones."
)

Der dritte ist die Erstellung von Marketinginhalten, bei der der Agent ein maßgeschneidertes visuelles Element aus einem schriftlichen Brief erstellt.

response = client.beta.conversations.start(
    agent_id=agent.id,
    inputs="Create a promotional banner for an AI course, with the text 'Master AI in 2026' on a tech background."
)

In allen drei Fällen bestimmt die Qualität des Briefes die Qualität des Ergebnisses: Ein kreativer Agent erfindet nicht Ihre Absicht, er führt sie aus.

Kombination mit anderen Tools

Die Bildgenerierung entfaltet ihr volles Potenzial, wenn sie mit anderen Tools kombiniert wird. Das Suchen nach Daten, deren Analyse und die anschließende Veranschaulichung werden aus der Perspektive des Nutzers zu einem einzigen nahtlosen Fluss.

agent = client.beta.agents.create(
    model="mistral-large-latest",
    name="Multimodal Agent",
    description="Search, code, and images.",
    instructions="Use search to find data, code to analyze it, and image generation to illustrate it.",
    tools=[
        {"type": "web_search"},
        {"type": "code_interpreter"},
        {"type": "image_generation"}
    ]
)

Gute Bild-Prompts schreiben

Fünf Hebel verbessern die Ergebnisse signifikant. Erstens: Seien Sie beschreibend: „Eine gestreifte orange Katze, die auf einem Holztisch sitzt, natürliches Licht, fotografischer Stil” erzeugt ein völlig anderes Bild als „eine Katze”. Zweitens: Geben Sie den erwarteten Stil an – fotografisch, Illustration, Aquarell, minimalistisch. Drittens: Nennen Sie die Komposition, also Frontalansicht, Hochwinkel, Nahaufnahme oder Weitwinkel. Viertens: Erwähnen Sie das Licht, ob natürliches, Studio-, Gegenlicht oder Golden Hour. Schließlich: Spezifizieren Sie Farben: warme Palette, kühle Töne, Monochrom. Diese fünf Achsen sind genau das, was Sie in die Instruktionen des Agenten schreiben, damit er zu kurze Anfragen Ihrer Nutzer bereichern kann.

Generierte Dateien verwalten

Generierte Bilder werden vorübergehend in der Mistral-Cloud über die Files-API gespeichert. Machen Sie es zur Gewohnheit, diese zu inventarisieren und aufzuräumen: Andernfalls füllt sich Ihr Speicher mit vergessenen Entwürfen, und Dateien, die Sie benötigten, verschwinden, weil sie nicht rechtzeitig heruntergeladen wurden.

# List files
files = client.files.list()
for f in files.data:
    print(f"{f.id} — {f.filename} — {f.bytes} bytes")

# Delete a file
client.files.delete(file_id="file-xxxxxxxx")

Kernaussagen

• image_generation erstellt Bilder aus Textbeschreibungen
• Bilder werden als ToolFileChunk-Objekte zurückgegeben und können über client.files.download() heruntergeladen werden
• Detaillierte Prompts (Stil, Komposition, Licht) verbessern die Ergebnisse signifikant
• Das Tool kann mit web_search und code_interpreter kombiniert werden
• Generierte Dateien sind vorübergehend – laden Sie sie herunter, sonst werden sie gelöscht