Konfiguration des Computereinsatzes in der API
Auf dieser Seite
Lektion am 3. November 2026 neu geschrieben basierend auf dem OpenAI-Leitfaden Computer use und den Computer use integration recipes: Die Konfiguration nutzt nun das
openaiSDK, die UmgebungsvariableOPENAI_API_KEYund das Werkzeug{"type": "computer"}in der Responses API. Sie stützt sich nicht mehr auf das Anthropic SDK oder das veraltete Werkzeugcomputer_20241022. Das OpenAI-Werkzeug benötigt keine Bildschirmabmessungen; die Koordinaten beziehen sich auf das von Ihnen bereitgestellte Screenshot-Bild. Quellen: Computer use · Integration recipes.
Voraussetzungen
Bevor Sie die erste Zeile Code schreiben, benötigt Ihre Arbeitsstation vier Dinge: eine aktuelle Version von Python 3, ein OpenAI-Konto mit einem aktiven API-Schlüssel und Zugriff auf ein Modell, das das computer-Werkzeug unterstützt, einen Chromium-Browser, der durch Playwright für Webinteraktionen gesteuert wird, und Docker, wenn Sie den Agenten isolieren möchten. Docker ist während des Lernens optional, doch OpenAI empfiehlt eine isolierte Browserumgebung oder eine virtuelle Maschine, sobald der Agent mit etwas interagiert, das über eine Demo-Seite hinausgeht.
Für das Modell verwendet die OpenAI-Dokumentation in den Beispielen für das computer-Werkzeug gpt-6.1-sol. Prüfen Sie die Modellkarte (unter Tools), um zu bestätigen, dass der Computereinsatz aufgeführt ist und Ihr Projekt Zugriff darauf hat.
Installation der Abhängigkeiten
Arbeiten Sie in einer dedizierten virtuellen Umgebung. Ein Computer-Use-Agent fixiert spezifische Versionen von Playwright und seinen Browsern. Die Vermischung dieser mit Ihren anderen Python-Projekten führt zu Konflikten, die schwer zu diagnostizieren sind.
# Umgebung erstellen und aktivieren
python -m venv computer-use-env
source computer-use-env/bin/activate # Linux/Mac
# computer-use-env\Scripts\activate # Windows
# Abhängigkeiten installieren
pip install openai playwright pillow
# Playwright-Browser installieren
playwright install chromium
Jedes Paket erfüllt eine spezifische Funktion: openai stellt den Client bereit, der mit dem Modell kommuniziert, playwright steuert den Browser und führt Aktionen aus, und pillow übernimmt die Bildmanipulation, falls erforderlich. Der letzte Befehl ist derjenige, den die meisten am häufigsten vergessen. Ohne playwright install chromium wird das Paket installiert, aber kein Browser heruntergeladen, wodurch der erste Lauf fehlschlägt.
Festlegen des API-Schlüssels
Speichern Sie Ihren Schlüssel in einer Umgebungsvariable und codieren Sie ihn niemals direkt im Skript. Ein in Code geschriebener Geheimwert landet schließlich in einem Git-Repository.
export OPENAI_API_KEY="your-key"
In der Produktion verwenden Sie einen Secrets Manager. Der Client liest die Variable automatisch:
from openai import OpenAI
client = OpenAI() # liest OPENAI_API_KEY
Deklaration des Computer-Werkzeugs
Ein Modell steuert standardmäßig keinen Bildschirm. Sie müssen das computer-Werkzeug in der Anfrage aktivieren und das erwartete Ergebnis beschreiben.
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=(
"Check if the Filters panel is open. If not, "
"click Show Filters, then type penguin in the search "
"field. Use the computer tool to interact with the interface."
),
)
print(response.output)
Die Deklaration ist einfach {"type": "computer"}. Im Gegensatz zur frühen Vorschauversion (computer_use_preview) erfordert es weder Bildschirmabmessungen noch einen Umgebungstyp, und eine automatische Verkürzung ist nicht mehr notwendig. Die vom Modell zurückgegebenen Koordinaten beziehen sich auf den von Ihnen gesendeten Screenshot. Erfassen Sie genau den Bereich, auf den Sie klicken möchten, im gleichen Maßstab. Wenn Sie einen Screenshot vor dem Senden vergrößern oder verkleinern, müssen Sie die Koordinaten vor der Ausführung zurückrechnen.
Konfiguration des Browsers
Auf der Playwright-Seite sollten Sie die Startlogik in eine Funktion einwickeln, die Sie für verschiedene Aufgaben wiederverwenden können.
from playwright.sync_api import sync_playwright
def launch_browser(width=1280, height=720):
"""Startet einen isolierten Browser für den Computereinsatz."""
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True) # False, um den Agenten zu beobachten
context = browser.new_context(viewport={"width": width, "height": height})
page = context.new_page()
return pw, browser, page
page.screenshot() erfasst den Viewport, sodass die Koordinaten des Modells direkt auf page.mouse anwendbar sind. Die Option headless=True führt den Browser ohne Benutzeroberfläche aus, was auf einem Server unerlässlich ist. Während der Entwicklung setzen Sie dies auf False, um den Agenten bei der Arbeit zu beobachten. Dies ist der schnellste Weg, um zu verstehen, warum er Fehler macht.
Strukturierung des Projekts
Trennen Sie von Anfang an die Browserlogik, den Agenten-Loop und die Ausführung von Aktionen.
computer-use-project/
├── .env # OPENAI_API_KEY (niemals committen)
├── requirements.txt # openai, playwright, pillow
├── src/
│ ├── __init__.py
│ ├── browser.py # Starten und Erfassen
│ ├── agent.py # Computer-Use-Loop
│ └── actions.py # Ausführung von Aktionen
└── tasks/
└── example.py # Task-Skripte
Überprüfung der Installation
Bauen Sie keine komplexe Workflow-Logik auf einer nicht validierten Konfiguration auf. Wenn der erste Lauf fehlschlägt, wissen Sie nicht, ob das Problem beim Schlüssel, dem Browser oder Ihrem Prompt liegt. Dieses minimale Skript testet die gesamte Kette: Client, Browser, Erfassung und Bildübermittlung an das Modell.
import base64
from openai import OpenAI
from playwright.sync_api import sync_playwright
def test_installation():
"""Überprüft, ob der Schlüssel, der Browser und das Bild-Upload funktionieren."""
client = OpenAI()
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True)
page = browser.new_page(viewport={"width": 1280, "height": 720})
page.goto("https://example.com")
capture = base64.b64encode(page.screenshot()).decode("utf-8")
response = client.responses.create(
model="gpt-6.1-sol",
input=[{
"role": "user",
"content": [
{"type": "input_text", "text": "Beschreiben Sie, was Sie sehen."},
{"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
],
}],
)
print("Response:", response.output_text)
browser.close()
pw.stop()
if __name__ == "__main__":
test_installation()
Wenn die Konsole eine Beschreibung der Beispiel-Seite von example.com anzeigt, ist Ihre Konfiguration bereit, und Sie können mit dem Aufbau eines vollständigen Agenten fortfahren.
Wichtige Erkenntnisse
- Installieren Sie
openai,playwrightundpillowin einer dedizierten virtuellen Umgebung und führen Sie dannplaywright install chromiumaus. - Halten Sie den
OPENAI_API_KEYin einer Umgebungsvariable und niemals im Code. - Deklarieren Sie das Werkzeug mit
tools=[{"type": "computer"}]unter Verwendung eines unterstützten Modells (OpenAI-Beispiele verwendengpt-6.1-sol). - Modellkoordinaten beziehen sich auf den gesendeten Screenshot: Erfassen Sie den Bereich, auf den Sie handeln, im gleichen Maßstab.
- Testen Sie immer mit einem minimalen Skript, bevor Sie komplexe Workflows aufbauen.