Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Hvad er Computer Use

Lektion 1 af 14 Opdateret 3. november 2026 Udvikler
På denne side
  1. En ny måde at interagere med maskiner på
  2. Løkken, der gør det muligt
  3. Hvad vi faktisk automatiserer
  4. Aktørerne i 2026
  5. Hvad du vinder, og hvad du betaler
  6. Vigtige pointer

Lektion opdateret 3. november 2026 baseret på OpenAIs guide Computer use: Dette kursus følger nu værktøjet computer i Responses API, hvilket erstatter den tidligere tilgang via Anthropic API. Afsnittet om økosystemets aktører dækker begge stier dokumenteret af OpenAI (kodeeksekvering, anbefalet til GPT-6 Astra, og værktøjet computer). Vi har fjernet ubegrundede påstande om konkurrerende produkter. Kilde: Computer use.

En ny måde at interagere med maskiner på

I årevis har sprogmodeller udelukkende været tekstbaserede samtalepartnere: Du stillede et spørgsmål, fik et svar, og alt, der involverede den virkelige verden, overlod du til dig selv. Computer Use bryder denne barriere. Modellen ser en skærm og beslutter, hvilke bevægelser den skal udføre – klik, tastaturinput, rulning, skift mellem applikationer – og din applikation udfører disse handlinger på modellens vegne.

Dette skift går dybere, end det umiddelbart ser ud. Traditionel automation klamrer sig til tekniske ankre: en CSS-selektor, et DOM-ID eller et API, som en softwareleverandør har valgt at eksponere. Den dag frontend-teamet omdøber en klasse, stopper scriptet, og ofte opdager ingen det, før næste dags rapport ankommer tom. Med Computer Use giver du en instruktion på naturligt sprog, og AI’en navigerer i grænsefladen præcis, som et menneske opfatter den. En knap med teksten “Send”, der flyttes tre tommer eller males grøn, forbliver knappen “Send”.

Løkken, der gør det muligt

Mekanismen fungerer i fem trin, og det er gentagelsen af disse, der skaber kraften:

  1. Din applikation optager skærmen eller browservinduet
  2. Modellen analyserer billedet for at forstå, hvad den ser
  3. Den beslutter sig for en eller flere handlinger (klik, tastetryk, rul)
  4. Din applikation udfører disse handlinger på maskinen
  5. Et nyt optag sendes tilbage til modellen, og løkken starter forfra

Denne perceptions-handlings-løkke er systemets kerne. Overvej et almindeligt scenarie: Din agent skal udfylde en kontaktformular, men et cookie-banner popper op over den ved indlæsning. Et Selenium-script, der ikke har forudset dette, klikker ud i den blå luft og kaster en fejl, der er svær at tolke. Computer Use-agenten ser derimod banneret på sit skærmbillede, håndterer det, tager et nyt optag og finder formularen igen. Den reciterer ikke en stiv plan; den genovervejer situationen ved hver iteration.

Hvad vi faktisk automatiserer

Den primære anvendelse er end-to-end-testning. Du beskriver den rejse, der skal verificeres – “log ind, læg en vare i kurven, gå til kassen” – og agenten afspiller det som en bruger, uden at du behøver at vedligeholde et bibliotek af selektorer, der udløber ved hvert website-redesign.

Dernæst kommer RPA, automatisering af gentagne opgaver på software, der mangler API’er: et gammelt internt ERP-system, en leverandørs extranet eller en forretningsapplikation fra 2000’erne, hvis leverandør er forsvundet. Hvor teknisk integration er umulig, arbejder agenten gennem skærmen, præcis som den medarbejder, der plejede at kopiere data i hånden.

Scraping bliver også tilgængeligt på dynamiske sites, der modstår traditionelle ekstraktorer, da agenten læser den renderede side frem for rå HTML. Arbejdsgange på tværs af flere applikationer – hent en ordre fra et CRM, indtast den i et regneark, send en bekræftelsesmail – kædes sammen i en enkelt session. Denne samme evne tjener brugersupport: I stedet for at forklare, hvor man skal klikke, navigerer agenten faktisk i grænsefladen.

Aktørerne i 2026

Dette kursus følger OpenAIs tilbud, som åbner to stier i Responses API. Med kodeeksekvering skriver modellen et script – f.eks. Playwright eller PyAutoGUI – som dit isolerede miljø eksekverer, før resultatet og skærmbilleder returneres; et enkelt kald kan derefter kæde løkker og betingelser sammen, hvilket gør dette til den sti, OpenAI anbefaler til GPT-6 Astra. Med værktøjet computer returnerer modellen strukturerede muse- og tastaturhandlinger, som din applikation oversætter til bevægelser; dette værktøj understøttes stadig, og det er det, du vil bruge her, fordi det eksponerer løkken i dens rå form. OpenAI SDK’er leverer også færdige hjælpere (ComputerToolset, BrowserToolset), der styrer denne løkke for dig.

Andre udbydere, især Anthropic, tilbyder et sammenligneligt værktøj i deres eget API med et andet udvekslingsformat: Koden i dette kursus kan ikke direkte overføres, men principperne – løkke, handlingsstyring, isolering, menneskelig bekræftelse – forbliver de samme.

Hvad du vinder, og hvad du betaler

KriteriumKlassiske scriptsComputer Use
GrænsefladeAPI eller DOM-selektorerVisuel (skærmbilleder)
SkrøbelighedBryder, hvis UI ændresTilpasser sig visuelt
KompleksitetSitespecifik kodeInstruktioner på naturligt sprog
HastighedHurtigLangsommere (skærmbilledsløkke)

Læs denne tabel som en afvejning, ikke en rangering. Du bytter rå hastighed ud med modstandsdygtighed og næsten nul vedligeholdelsesomkostninger. Til halvtreds tusinde daglige eksekveringer på en stabil side, hvor du kontrollerer HTML’en, er et script stadig det rigtige valg. Til en rejse, der justeres hver måned, eller til software uden API, vipper vægtskålen afgørende den anden vej – og dette kursus lærer dig at håndtere netop det andet tilfælde.

Vigtige pointer

  • Computer Use lader AI se og styre en skærm via en løkke af skærmbilleder og handlinger
  • Det er et andet paradigme end klassiske scripts: mere modstandsdygtigt, men langsommere
  • Primære anvendelser inkluderer E2E-testning, RPA, scraping og arbejdsgange på tværs af applikationer
  • OpenAI tilbyder to stier: kodeeksekvering, anbefalet til GPT-6 Astra, og værktøjet computer, som bruges i dette kursus