Architektur: Screenshots, Aktionen und der Interaktionszyklus
Auf dieser Seite
Lektion am 3. November 2026 überarbeitet basierend auf OpenAIs Computer use-Guide und Computer use integration recipes: Dieser Kurs stützte sich zuvor auf die Anthropic API (
import anthropic, Werkzeugcomputer_20241022). Er nutzt nun OpenAIs Responses APIcomputer-Werkzeug, wobei Aktionen in einemcomputer_callgruppiert sind und Screenshots übercomputer_call_outputzurückgegeben werden. Die ungesicherten Token-Anzahlen und Dauerabschätzungen der vorherigen Version wurden entfernt. Quellen: Computer use · Integration recipes.
Der Wahrnehmungs-Aktions-Zyklus
Die gesamte Architektur der Computernutzung reduziert sich auf einen einzigen Zyklus: beobachten → entscheiden → handeln → beobachten. Solange dieser Zyklus in Ihrem Kopf nicht klar ist, bleiben Ihre Automatisierungen unregelmäßig; sobald er einleuchtet, ist der Rest nur noch Infrastruktur.
Der Unterschied zu einem Selenium-Skript liegt darin, wo das Wissen resides. Ein Selenium-Skript führt eine vorbestimmte Sequenz blind aus: Klicken Sie hier, dann dort, dann tippen Sie dies. Die Computernutzung wählt den nächsten Schritt erst nach dem Betrachten des Ergebnisses des vorherigen. Ein Popup erscheint, eine Seite braucht länger zum Laden oder ein Button-Label ändert sich über Nacht: In allen drei Fällen sieht das Modell die tatsächliche Situation und passt sich an, wohingegen das Skript weiter in die Leere rezitiert.
Mit OpenAIs computer-Werkzeug findet der Austausch in drei Schritten statt: Sie senden die Aufgabe, Sie führen die vom Modell zurückgegebenen Aktionen aus und senden dann einen Screenshot zurück. Ihre Anwendung hält die Maus und Tastatur; das Modell trifft nur die Entscheidungen.
Der Ausgangspunkt: der Screenshot
Jeder Zyklus basiert auf einem Bild des aktuellen Bildschirmzustands. Dieser Screenshot stammt von einem Browser, der von Playwright gesteuert wird – der häufigste Fall für Webautomatisierung – einem virtuellen Desktop bei der Automatisierung einer Desktop-Anwendung oder einem Docker-Container, der den Agenten isoliert. OpenAI empfiehlt in allen Fällen die Verwendung eines isolierten Browsers oder einer virtuellen Maschine.
import base64
def capture_screen(page) -> str:
"""Fängt den Bildschirm mit Playwright ab und gibt das PNG-Bild als base64 zurück."""
return base64.b64encode(page.screenshot()).decode("utf-8")
Der Screenshot geht als PNG-Daten-URL zurück an das Modell. Er zählt als Bild-Eingabe und beeinflusst somit die Kosten jeder Runde: Die Fenstergröße, die Sie erfassen, ist ein echter Designparameter.
Analyse und Entscheidung
Das Modell erhält die Aufgabe, die Gesprächshistorie und den neuesten Screenshot. Seine Antwort ist kein Satz, sondern ein computer_call-Element, das eine geordnete Liste von Aktionen zur Ausführung enthält. Hier ist ein Beispiel aus der OpenAI-Dokumentation, das ein Suchfeld auswählt und dann ein Wort tippt:
{
"type": "computer_call",
"call_id": "call_002",
"actions": [
{ "type": "click", "button": "left", "x": 405, "y": 157 },
{ "type": "type", "text": "penguin" }
],
"status": "completed"
}
Zwei Details sind wichtig. Der erste Aufruf kann nur eine screenshot-Aktion enthalten: Das Modell bittet darum, den Bildschirm zu sehen, bevor es handelt, und Sie geben einen Screenshot zurück, ohne etwas zu ändern. Außerdem bedeutet status: "completed", dass das Modell die Generierung des Aufrufs abgeschlossen hat, nicht dass die Aktionen ausgeführt wurden: Die Ausführung liegt in Ihrer Verantwortung.
Das Aktionsrepertoire
Das Vokabular, das dem Modell zur Verfügung steht, ist absichtlich begrenzt; zusammen decken diese Primitive die meisten Dinge ab, die ein Mensch mit Maus und Tastatur tut.
| Aktion | Beschreibung | Felder |
|---|---|---|
click | Klicken an einer Position | x, y, button (left, right, wheel, back, forward) |
double_click | Doppelklicken | x, y |
drag | Ziehen entlang eines Pfades | path (Liste von Punkten) |
move | Zeiger bewegen | x, y |
scroll | Scrollen | x, y, scroll_x, scroll_y |
keypress | Taste oder Kombination | keys (z. B. ["CTRL", "A"]) |
type | Text eingeben | text |
wait | Seite laden lassen | — |
screenshot | Neuen Screenshot anfordern | — |
Der vollständige Fluss
Zusammengefasst erzeugen diese Elemente den folgenden Zyklus, modelliert nach der OpenAI-Dokumentation. Solange die Antwort ein computer_call enthält, führen Sie dessen Aktionen aus, erfassen den Bildschirm und geben den Screenshot in einem computer_call_output zurück, das denselben call_id wiederverwendet; previous_response_id verknüpft jede Runde mit der vorherigen.
from openai import OpenAI
client = OpenAI()
def computer_use_loop(page, task: str):
"""Computernutzungs-Zyklus mit dem computer-Werkzeug aus der Responses API."""
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=task,
)
while True:
call = next(
(item for item in response.output if item.type == "computer_call"),
None,
)
if call is None:
return response.output_text # keine weiteren Aktionen angefordert: Aufgabe erledigt
execute_actions(page, call.actions) # Ihr Aktionshandler (Lektion 4)
screenshot = capture_screen(page)
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
previous_response_id=response.id,
input=[{
"type": "computer_call_output",
"call_id": call.call_id,
"output": {
"type": "computer_screenshot",
"image_url": f"data:image/png;base64,{screenshot}",
"detail": "original",
},
}],
)
Dieser Zyklus verfügt noch über keine Sicherheitsvorkehrungen: In der Produktion sollten Sie die Anzahl der Runden, die Dauer und die Kosten begrenzen; stoppen Sie, wenn ein Aufruf ausstehende Sicherheitsprüfungen (pending_safety_checks) enthält; und überprüfen Sie das tatsächliche Ergebnis, anstatt sich nur auf die finale Nachricht des Modells zu verlassen. Dies sind OpenAIs Sicherheitsrichtlinien, die in Lektion 12 behandelt werden.
Was kostet eine Runde im Zyklus
Jeder Aufruf an die Responses API wird für Eingabe- und Ausgabetoken berechnet, und jeder Screenshot zählt als Bild-Eingabe; eine gehostete Umgebung kann separat berechnet werden. Die Kosten einer Aufgabe hängen daher von der Anzahl der Runden, der Screenshot-Größe und dem Modell ab – und sie steigen schneller als die Anzahl der Runden, da selbst bei Verwendung von previous_response_id alle Eingabetoken aus vorherigen Antworten in der Kette bei jedem Aufruf erneut als Eingabe berechnet werden. OpenAI stellt einen Bildkostenrechner bereit und stellt die Nutzung für jeden Aufruf bereit: Messen Sie in Ihren eigenen Workflows, bevor Sie ein Budget planen. Ein Selenium-Skript wird dieselbe Sache immer schneller und günstiger erledigen – aber Sie müssten es beim nächsten Mal neu schreiben, wenn sich das Formular ändert, was der Agent nicht erfordert.
Kernaussagen
- Der Aufgabe → Aktionen → Screenshot-Zyklus ist das Herzstück der Computernutzung; Ihre Anwendung führt die Aktionen aus
- Bei OpenAI deklarieren Sie das Werkzeug mit
tools=[{"type": "computer"}]in der Responses API - Ein
computer_callträgt eine geordnete Liste von Aktionen (click,type,scroll,keypressusw.) zur sequentiellen Ausführung - Der Screenshot geht an das Modell in einem
computer_call_outputmit demselbencall_idzurück, verknüpft durchprevious_response_id - Jede Runde kostet Tokens und ein Bild: Begrenzen Sie die Runden und messen Sie vor der Budgetplanung