Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Was ist Computer Use

Lektion 1 von 14 Aktualisiert am 3. November 2026 Entwickler
Auf dieser Seite
  1. Eine neue Art der Interaktion mit Maschinen
  2. Der Kreislauf, der dies ermöglicht
  3. Was wir tatsächlich automatisieren
  4. Die Akteure 2026
  5. Was Sie gewinnen, was Sie zahlen
  6. Kernaussagen

Lektion aktualisiert am 3. November 2026 basierend auf dem Computer use-Guide von OpenAI: Dieser Kurs folgt nun dem computer-Tool in der Responses API und ersetzt den vorherigen Ansatz über die Anthropic API. Der Abschnitt zu den Akteuren im Ökosystem behandelt beide von OpenAI dokumentierten Wege (Code-Execution, empfohlen für GPT-6 Astra, und das computer-Tool). Unbelegte Behauptungen über konkurrierende Produkte wurden entfernt. Quelle: Computer use.

Eine neue Art der Interaktion mit Maschinen

Sprachmodelle waren über Jahre hinweg rein textbasierte Gesprächspartner: Sie stellten eine Frage, erhielten eine Antwort, und alles, was die reale Welt betraf, lag in Ihrer Verantwortung. Computer Use bricht diese Barriere auf. Das Modell sieht einen Bildschirm und entscheidet, welche Gesten es ausführen soll – Klicken, Tippen, Scrollen, Wechseln von Anwendungen – und Ihre Anwendung führt diese Aktionen im Auftrag aus.

Dieser Wandel geht tiefer, als er auf den ersten Blick erscheint. Traditionelle Automatisierung lehnt sich an technische Anker: einen CSS-Selektor, eine DOM-ID oder eine API, die ein Softwareanbieter zur Verfügung gestellt hat. Sobald das Frontend-Team eine Klasse umbenennt, kommt der Skript zum Stillstand, und oft bemerkt niemand davon, bis der Bericht des nächsten Tages leer eintrifft. Mit Computer Use geben Sie eine Anweisung in natürlicher Sprache aus, und die KI navigiert die Benutzeroberfläche genau so, wie ein Mensch sie wahrnimmt. Ein „Absenden”-Button, der sich drei Zentimeter verschoben hat oder grün neu eingefärbt wurde, bleibt der „Absenden”-Button.

Der Kreislauf, der dies ermöglicht

Der Mechanismus arbeitet in fünf Schritten, und ihre Wiederholung erzeugt seine Kraft:

  1. Ihre Anwendung erfasst den Bildschirm oder das Browserfenster
  2. Das Modell analysiert das Bild, um zu verstehen, was es sieht
  3. Es entscheidet sich für eine oder mehrere Aktionen (Klicken, Tastatureingabe, Scrollen)
  4. Ihre Anwendung führt diese Aktionen auf der Maschine aus
  5. Eine neue Erfassung geht zurück an das Modell, und der Kreislauf beginnt von neuem

Dieser Wahrnehmungs-Aktions-Kreislauf ist das Herzstück des Systems. Betrachten Sie einen gängigen Szenario: Ihr Agent muss ein Kontaktformular ausfüllen, aber beim Laden erscheint ein Cookie-Banner darüber. Ein Selenium-Skript, das dies nicht antizipiert, klickt in die leere Luft und wirft einen Fehler, der schwer zu interpretieren ist. Der Computer Use-Agent hingegen sieht das Banner in seinem Screenshot, behandelt es, nimmt eine weitere Erfassung vor und findet das Formular erneut. Er rezitiert keinen starren Plan; er bewertet die Situation bei jeder Iteration neu.

Was wir tatsächlich automatisieren

Der primäre Anwendungsfall ist das End-to-End-Testing. Sie beschreiben die Reise zur Überprüfung – „Anmelden, einen Artikel zum Warenkorb hinzufügen, zum Kassenabschluss gehen” – und der Agent spielt sie wie ein Nutzer ab, ohne dass Sie eine Bibliothek von Selektoren pflegen müssen, die bei jedem Site-Redesign verfallen.

Als Nächstes folgt RPA, die Automatisierung wiederkehrender Aufgaben in Software, die keine APIs bietet: ein altes internes ERP, ein Lieferanten-Extranet oder eine Geschäftsanwendung aus den 2000er Jahren, deren Anbieter verschwunden ist. Wo eine technische Integration unmöglich ist, arbeitet der Agent durch den Bildschirm hindurch, genau wie der Mitarbeiter, der früher Daten manuell kopiert hat.

Auch das Scraping wird für dynamische Seiten zugänglich, die traditionellen Extraktoren trotzen, da der Agent die gerenderte Seite liest und nicht den rohen HTML-Code. Mehranwendung-Arbeitsabläufe – das Abrufen einer Bestellung aus einem CRM, das Eintragen in eine Tabelle und das Senden einer Bestätigungsmail – verketten sich in einer einzigen Sitzung. Diese gleiche Fähigkeit dient auch dem Anwendersupport: Statt zu erklären, wo geklickt werden muss, navigiert der Agent tatsächlich durch die Benutzeroberfläche.

Die Akteure 2026

Dieser Kurs folgt dem Angebot von OpenAI, das zwei Wege in der Responses API eröffnet. Mit Code-Execution schreibt das Modell ein Skript – beispielsweise Playwright oder PyAutoGUI –, das Ihre isolierte Umgebung ausführt, bevor es das Ergebnis und Screenshots zurückgibt; ein einziger Aufruf kann dann Schleifen und Bedingungen verketten, weshalb dies der von OpenAI für GPT-6 Astra empfohlene Weg ist. Mit dem computer-Tool gibt das Modell strukturierte Maus- und Tastaturaktionen zurück, die Ihre Anwendung in Gesten übersetzt; dieses Tool bleibt unterstützt und ist dasjenige, das Sie hier verwenden werden, da es den Kreislauf in seiner rohen Form offenlegt. OpenAI SDKs bieten ebenfalls fertige Helfer (ComputerToolset, BrowserToolset) an, die diesen Kreislauf für Sie verwalten.

Andere Anbieter, insbesondere Anthropic, bieten ein vergleichbares Tool in ihrer eigenen API mit einem anderen Austauschformat an: Der Code in diesem Kurs lässt sich nicht direkt übertragen, aber die Prinzipien – Kreislauf, Aktionsmanager, Isolation, menschliche Bestätigung – bleiben gleich.

Was Sie gewinnen, was Sie zahlen

KriteriumKlassische SkripteComputer Use
SchnittstelleAPI oder DOM-SelektorenVisuell (Screenshots)
ZerbrechlichkeitBricht bei UI-ÄnderungenPasst sich visuell an
KomplexitätSite-spezifischer CodeAnweisungen in natürlicher Sprache
GeschwindigkeitSchnellLangsamer (Screenshot-Kreislauf)

Lesen Sie diese Tabelle als Abwägung, nicht als Rangliste. Sie tauschen Rohgeschwindigkeit gegen Resilienz und nahezu null Wartungskosten ein. Für fünfzigtausend tägliche Ausführungen auf einer stabilen Seite, bei der Sie den HTML-Code kontrollieren, bleibt ein Skript die richtige Wahl. Für eine Reise, die monatlich angepasst wird, oder für Software ohne API, verschiebt sich das Gleichgewicht entscheidend in die andere Richtung – und dieser Kurs lehrt Sie, diesen zweiten Fall zu bewältigen.

Kernaussagen

  • Computer Use ermöglicht es KI, einen Bildschirm zu sehen und zu steuern über einen Screenshot-Aktions-Kreislauf
  • Es ist ein anderes Paradigma als klassische Skripte: widerstandsfähiger, aber langsamer
  • Primäre Anwendungsfälle umfassen E2E-Testing, RPA, Scraping und Mehranwendung-Arbeitsabläufe
  • OpenAI bietet zwei Wege: Code-Execution, empfohlen für GPT-6 Astra, und das computer-Tool, das in diesem Kurs verwendet wird