Mi az a számítógép-használat (Computer Use)
Ezen az oldalon
A leckét 2026. november 3-án frissítettük az OpenAI Computer use útmutatója alapján: ez a tanfolyam most a Responses API
computereszközét követi, leváltva a korábbi Anthropic API megközelítést. Az ökoszisztéma szereplőiről szóló rész mindkét, az OpenAI által dokumentált utat lefedi (a kódvégrehajtást, amelyet a GPT-6 Astrához ajánlanak, és acomputereszközt). Eltávolítottuk a versenytárs termékekre vonatkozó, forrás nélküli állításokat. Forrás: Computer use.
Új módja a gépekkel való interakciónak
Éveken át a nyelvi modellek tisztán szövegalapú beszélgetőpartnerek maradtak: kérdeztél valamit, kaptál egy választ, és a valós világot érintő minden feladat rád hárult. A számítógép-használat (Computer Use) lebontja ezt a gátat. A modell látja a képernyőt, és eldönti, milyen gesztusokat hajtson végre – kattintás, gépelés, görgetés, alkalmazásváltás –, a te alkalmazásod pedig végrehajtja ezeket a műveleteket a nevében.
Ez a váltás mélyebb, mint elsőre tűnik. A hagyományos automatizálás technikai horgonyokhoz ragaszkodik: egy CSS-szelektorhoz, egy DOM-azonosítóhoz vagy egy API-hoz, amelyet egy szoftvergyártó döntött úgy, hogy elérhetővé tesz. Ha a frontend-csapat átnevez egy osztályt, a szkript leáll, és gyakran senki sem veszi észre egészen addig, amíg másnap üresen nem érkezik meg a jelentés. A számítógép-használat esetén természetes nyelven adsz utasítást, és az AI pontosan úgy navigál a felületen, ahogy azt egy ember érzékeli. Egy „Küldés“ gomb, amelyet három hüvelykkel arrébb toltak vagy zöldre festettek, továbbra is a „Küldés“ gomb marad.
A hurok, amely lehetővé teszi ezt
A mechanizmus öt lépésből áll, és ezek ismétlése adja a rendszer erejét:
- Az alkalmazásod rögzíti a képernyőt vagy a böngészőablakot
- A modell elemzi a képet, hogy megértse, mit lát
- Dönt egy vagy több műveletről (kattintás, billentyűleütés, görgetés)
- Az alkalmazásod végrehajtja ezeket a műveleteket a gépen
- Egy új rögzítés kerül vissza a modellhez, és a hurok újraindul
Ez az észlelés-cselekvés hurok a rendszer magja. Vegyünk egy gyakori forgatókönyvet: az ügynöködnek ki kell töltenie egy kapcsolati űrlapot, de betöltéskor egy cookie-sávon ugrik fel elé. Egy Selenium-szkript, amely nem számolt ezzel, a levegőbe kattint, és olyan hibát dob, amelyet nehéz értelmezni. Ezzel szemben a számítógép-használat ügynök látja a sávot a képernyőmentésén, kezeli azt, készít egy újabb rögzítést, és újra megtalálja az űrlapot. Nem egy merev tervet szaval fel; minden iterációnál újraértékeli a helyzetet.
Amit valójában automatizálunk
Az elsődleges felhasználási eset a végpontok közötti (end-to-end) tesztelés. Leírod az ellenőrizendő utat – „bejelentkezés, cikk hozzáadása a kosárhoz, továbblépés a pénztárhoz“ –, és az ügynök lejátsza ezt, mint egy felhasználó, anélkül, hogy fenn kellene tartanod egy szelektorokból álló könyvtárat, amelyek minden webhely-áttervezéssel elévülnek.
Ezt követi az RPA, azaz az ismétlődő feladatok automatizálása olyan szoftvereken, amelyek nem rendelkeznek API-val: egy régi belső ERP rendszer, egy beszállítói extranet vagy egy 2000-es évekbeli üzleti alkalmazás, amelynek gyártója már megszűnt. Ahol a technikai integráció lehetetlen, ott az ügynök a képernyőn keresztül dolgozik, pontosan úgy, mint az a munkavállaló, aki korábban kézzel másolta az adatokat.
Az adatkinyerés (scraping) is elérhetővé válik azoknál a dinamikus oldalaknál, amelyek ellenállnak a hagyományos kinyerőknek, mivel az ügynök a megjelenített oldalt olvassa, nem a nyers HTML-t. Több alkalmazást érintő munkafolyamatok – egy rendelés lekérése egy CRM-ből, bevitele egy táblázatba, megerősítő e-mail küldése – egyetlen munkamenetben láncolhatók össze. Ugyanez a képesség a felhasználói támogatást is szolgálja: ahelyett, hogy elmagyarázná, hová kell kattintani, az ügynök ténylegesen navigál a felületen.
A szereplők 2026-ban
Ez a tanfolyam az OpenAI ajánlatát követi, amely két utat nyit meg a Responses API-ban. A kódvégrehajtással a modell ír egy szkriptet – például Playwright vagy PyAutoGUI nyelven –, amelyet az elszigetelt környezeted végrehajt, majd visszaadja az eredményt és a képernyőmentéseket; egy egyetlen hívás ezután láncolhat hurkokat és feltételeket, így ez az az út, amelyet az OpenAI a GPT-6 Astrához ajánl. A computer eszközzel a modell strukturált egér- és billentyűzet-műveleteket ad vissza, amelyeket az alkalmazásod gesztusokká alakít; ez az eszköz továbbra is támogatott, és ezt fogod használni itt, mert ez tárja fel a hurkot annak nyers formájában. Az OpenAI SDK-k készen lévő segédeszközöket (ComputerToolset, BrowserToolset) is biztosítanak, amelyek kezelik ezt a hurkot helyetted.
Más szolgáltatók, különösen az Anthropic, hasonló eszközt kínálnak a saját API-jukban, eltérő adatcsere-formátummal: a tanfolyamban szereplő kód nem vihető át közvetlenül, de az elvek – hurok, műveletkezelő, elszigeteltség, emberi megerősítés – ugyanazok maradnak.
Amit nyersz, és amibe kerül
| Kritérium | Klasszikus szkriptek | Számítógép-használat |
|---|---|---|
| Felület | API vagy DOM-szelektorok | Vizuális (képernyőmentések) |
| Törékenység | Megszakad, ha a felhasználói felület változik | Vizuálisan alkalmazkodik |
| Komplexitás | Webhelyspecifikus kód | Természetes nyelvű utasítások |
| Sebesség | Gyors | Lassabb (képernyőmentés hurok) |
Olvasd ezt a táblázatot kompromisszumként, nem rangsorolásként. A nyers sebességet cseréled fel a rugalmasságra és a közel nulla karbantartási költségekre. Ötvenezer napi végrehajtásnál egy stabil oldalon, ahol te kontrollálod a HTML-t, a szkript marad a helyes választás. Egy havonta finomhangolt útvonalnál, vagy olyan szoftvereknél, amelyeknek nincs API-ja, a mérleg határozottan a másik oldalra billen – és ez a tanfolyam megtanít ennek a második esetnek a kezelésére.
Főbb megállapítások
- A számítógép-használat lehetővé teszi az AI számára, hogy képernyőmentés-cselekvés hurok révén lássan és irányítson egy képernyőt
- Ez egy eltérő paradigma a klasszikus szkriptektől: rugalmasabb, de lassabb
- Az elsődleges felhasználási esetek közé tartozik az E2E tesztelés, az RPA, az adatkinyerés és a több alkalmazást érintő munkafolyamatok
- Az OpenAI két utat kínál: a kódvégrehajtást, amelyet a GPT-6 Astrához ajánlanak, és a
computereszközt, amelyet ebben a tanfolyamban használunk