Wat is Computer Use
Op deze pagina
Les bijgewerkt op 3 november 2026 op basis van de gids Computer use van OpenAI: deze cursus volgt nu de
computer-tool in de Responses API, ter vervanging van de eerdere aanpak via de Anthropic API. Het gedeelte over spelers in het ecosysteem behandelt beide paden die door OpenAI worden gedocumenteerd (code-uitvoering, aanbevolen voor GPT-6 Astra, en decomputer-tool). We hebben ongegronde claims over concurrerende producten verwijderd. Bron: Computer use.
Een nieuwe manier om met machines te communiceren
Jarenlang bleven taalmodellen puur tekstgebaseerde gesprekspartners: u stelde een vraag, kreeg een antwoord, en alles wat de echte wereld betrof, liet u aan uzelf over. Computer Use doorbreekt die barrière. Het model ziet een scherm en beslist welke gebaren het moet uitvoeren—klikken, typen, scrollen, schakelen tussen applicaties—en uw applicatie voert die acties namens het model uit.
Deze verschuiving gaat dieper dan het op het eerste gezicht lijkt. Traditionele automatisering klampt zich vast aan technische ankers: een CSS-selector, een DOM-ID of een API die een softwareleverancier heeft gekozen om open te stellen. Zodra het front-endteam een class hernoemt, stopt het script, en vaak merkt niemand het tot het rapport van de volgende dag leeg binnenkomt. Met Computer Use geeft u een instructie in natuurlijke taal en navigeert de AI door de interface precies zoals een mens deze waarneemt. Een knop “Verzenden” die drie inch is verplaatst of groen is geverfd, blijft de knop “Verzenden”.
De lus die het mogelijk maakt
Het mechanisme werkt in vijf stappen; de herhaling ervan creëert de kracht:
- Uw applicatie legt het scherm of browservenster vast
- Het model analyseert de afbeelding om te begrijpen wat het ziet
- Het besluit tot een of meer acties (klik, toetsaanslag, scrollen)
- Uw applicatie voert deze acties uit op de machine
- Een nieuwe opname gaat terug naar het model en de lus begint opnieuw
Deze perceptie-actielus is de kern van het systeem. Neem een veelvoorkomend scenario: uw agent moet een contactformulier invullen, maar er verschijnt bij het laden een cookiebanner overheen. Een Selenium-script dat hier geen rekening mee hield, klikt in het luchtledige en genereert een moeilijk te interpreteren foutmelding. De Computer Use-agent ziet de banner echter op zijn screenshot, handelt deze af, maakt een nieuwe opname en vindt het formulier opnieuw. Het reciteert geen star plan; het evalueert de situatie bij elke iteratie opnieuw.
Wat we eigenlijk automatiseren
De primaire use case is end-to-end-testen. U beschrijft het te verifiëren traject—“inloggen, een artikel aan het winkelwagentje toevoegen, doorgaan naar de kassa”—en de agent speelt dit na als een gebruiker, zonder dat u een bibliotheek met selectors hoeft te onderhouden die bij elke herinrichting van de site verouderen.
Daarna komt RPA, de automatisering van repetitieve taken op software zonder API’s: een verouderd intern ERP-systeem, een extranet van een leverancier of een zakelijke applicatie uit de jaren 2000 waarvan de leverancier verdwenen is. Waar technische integratie onmogelijk is, werkt de agent via het scherm, precies zoals de medewerker die gegevens vroeger handmatig overnam.
Scrapen wordt ook toegankelijk op dynamische sites die weerstand bieden aan traditionele extractors, omdat de agent de gerenderde pagina leest in plaats van ruwe HTML. Workflows over meerdere applicaties—een bestelling uit een CRM halen, deze in een spreadsheet invoeren, een bevestigingsmail verzenden—worden in één sessie aan elkaar gekoppeld. Dezezelfde mogelijkheid dient ook voor gebruikersondersteuning: in plaats van uit te leggen waar u moet klikken, navigeert de agent daadwerkelijk door de interface.
De spelers in 2026
Deze cursus volgt het aanbod van OpenAI, dat twee paden opent in de Responses API. Met code-uitvoering schrijft het model een script—bijvoorbeeld Playwright of PyAutoGUI—dat uw geïsoleerde omgeving uitvoert voordat het resultaat en screenshots worden teruggegeven; een enkele aanroep kan vervolgens lussen en voorwaarden ketenen, waardoor dit het pad is dat OpenAI aanbeveelt voor GPT-6 Astra. Met de computer-tool retourneert het model gestructureerde muis- en toetsenbordacties die uw applicatie vertaalt naar gebaren; deze tool blijft ondersteund en is degene die u hier zult gebruiken, omdat deze de lus in zijn ruwe vorm blootlegt. OpenAI SDK’s bieden ook kant-en-klare helpers (ComputerToolset, BrowserToolset) die deze lus voor u beheren.
Andere aanbieders, met name Anthropic, bieden een vergelijkbare tool in hun eigen API met een ander uitwisselingsformaat: de code in deze cursus is niet direct overdraagbaar, maar de principes—lus, actiebeheerder, isolatie, menselijke bevestiging—blijven hetzelfde.
Wat u wint, wat u betaalt
| Criterium | Klassieke scripts | Computer Use |
|---|---|---|
| Interface | API of DOM-selectors | Visueel (screenshots) |
| Kwetsbaarheid | Breekt bij wijzigingen in de UI | Past zich visueel aan |
| Complexiteit | Sitespecifieke code | Instructies in natuurlijke taal |
| Snelheid | Snel | Langzamer (screenshot-lus) |
Lees deze tabel als een afweging, niet als een ranglijst. U wisselt ruwe snelheid in voor veerkracht en nagenoeg geen onderhoudskosten. Voor vijftigduizend dagelijkse uitvoeringen op een stabiele pagina waar u de HTML beheert, blijft een script de juiste keuze. Voor een traject dat elke maand wordt aangepast, of voor software zonder API, slaat de balans beslissend de andere kant op—en deze cursus leert u dat tweede geval aan te pakken.
Belangrijkste punten
- Computer Use laat AI een scherm zien en besturen via een screenshot-actielus
- Het is een ander paradigma dan klassieke scripts: veerkrachtiger maar langzamer
- Primaire use cases zijn E2E-testen, RPA, scraping en workflows over meerdere applicaties
- OpenAI biedt twee paden: code-uitvoering, aanbevolen voor GPT-6 Astra, en de
computer-tool, die in deze cursus wordt gebruikt