Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Mi az a számítógép-használat (Computer Use)

1. lecke 14 közül Frissítve 2026. november 3. Fejlesztő
Ezen az oldalon
  1. Új módja a gépekkel való interakciónak
  2. A hurok, amely lehetővé teszi ezt
  3. Amit valójában automatizálunk
  4. A szereplők 2026-ban
  5. Amit nyersz, és amibe kerül
  6. Főbb megállapítások

A leckét 2026. november 3-án frissítettük az OpenAI Computer use útmutatója alapján: ez a tanfolyam most a Responses API computer eszközét követi, leváltva a korábbi Anthropic API megközelítést. Az ökoszisztéma szereplőiről szóló rész mindkét, az OpenAI által dokumentált utat lefedi (a kódvégrehajtást, amelyet a GPT-6 Astrához ajánlanak, és a computer eszközt). Eltávolítottuk a versenytárs termékekre vonatkozó, forrás nélküli állításokat. Forrás: Computer use.

Új módja a gépekkel való interakciónak

Éveken át a nyelvi modellek tisztán szövegalapú beszélgetőpartnerek maradtak: kérdeztél valamit, kaptál egy választ, és a valós világot érintő minden feladat rád hárult. A számítógép-használat (Computer Use) lebontja ezt a gátat. A modell látja a képernyőt, és eldönti, milyen gesztusokat hajtson végre – kattintás, gépelés, görgetés, alkalmazásváltás –, a te alkalmazásod pedig végrehajtja ezeket a műveleteket a nevében.

Ez a váltás mélyebb, mint elsőre tűnik. A hagyományos automatizálás technikai horgonyokhoz ragaszkodik: egy CSS-szelektorhoz, egy DOM-azonosítóhoz vagy egy API-hoz, amelyet egy szoftvergyártó döntött úgy, hogy elérhetővé tesz. Ha a frontend-csapat átnevez egy osztályt, a szkript leáll, és gyakran senki sem veszi észre egészen addig, amíg másnap üresen nem érkezik meg a jelentés. A számítógép-használat esetén természetes nyelven adsz utasítást, és az AI pontosan úgy navigál a felületen, ahogy azt egy ember érzékeli. Egy „Küldés“ gomb, amelyet három hüvelykkel arrébb toltak vagy zöldre festettek, továbbra is a „Küldés“ gomb marad.

A hurok, amely lehetővé teszi ezt

A mechanizmus öt lépésből áll, és ezek ismétlése adja a rendszer erejét:

  1. Az alkalmazásod rögzíti a képernyőt vagy a böngészőablakot
  2. A modell elemzi a képet, hogy megértse, mit lát
  3. Dönt egy vagy több műveletről (kattintás, billentyűleütés, görgetés)
  4. Az alkalmazásod végrehajtja ezeket a műveleteket a gépen
  5. Egy új rögzítés kerül vissza a modellhez, és a hurok újraindul

Ez az észlelés-cselekvés hurok a rendszer magja. Vegyünk egy gyakori forgatókönyvet: az ügynöködnek ki kell töltenie egy kapcsolati űrlapot, de betöltéskor egy cookie-sávon ugrik fel elé. Egy Selenium-szkript, amely nem számolt ezzel, a levegőbe kattint, és olyan hibát dob, amelyet nehéz értelmezni. Ezzel szemben a számítógép-használat ügynök látja a sávot a képernyőmentésén, kezeli azt, készít egy újabb rögzítést, és újra megtalálja az űrlapot. Nem egy merev tervet szaval fel; minden iterációnál újraértékeli a helyzetet.

Amit valójában automatizálunk

Az elsődleges felhasználási eset a végpontok közötti (end-to-end) tesztelés. Leírod az ellenőrizendő utat – „bejelentkezés, cikk hozzáadása a kosárhoz, továbblépés a pénztárhoz“ –, és az ügynök lejátsza ezt, mint egy felhasználó, anélkül, hogy fenn kellene tartanod egy szelektorokból álló könyvtárat, amelyek minden webhely-áttervezéssel elévülnek.

Ezt követi az RPA, azaz az ismétlődő feladatok automatizálása olyan szoftvereken, amelyek nem rendelkeznek API-val: egy régi belső ERP rendszer, egy beszállítói extranet vagy egy 2000-es évekbeli üzleti alkalmazás, amelynek gyártója már megszűnt. Ahol a technikai integráció lehetetlen, ott az ügynök a képernyőn keresztül dolgozik, pontosan úgy, mint az a munkavállaló, aki korábban kézzel másolta az adatokat.

Az adatkinyerés (scraping) is elérhetővé válik azoknál a dinamikus oldalaknál, amelyek ellenállnak a hagyományos kinyerőknek, mivel az ügynök a megjelenített oldalt olvassa, nem a nyers HTML-t. Több alkalmazást érintő munkafolyamatok – egy rendelés lekérése egy CRM-ből, bevitele egy táblázatba, megerősítő e-mail küldése – egyetlen munkamenetben láncolhatók össze. Ugyanez a képesség a felhasználói támogatást is szolgálja: ahelyett, hogy elmagyarázná, hová kell kattintani, az ügynök ténylegesen navigál a felületen.

A szereplők 2026-ban

Ez a tanfolyam az OpenAI ajánlatát követi, amely két utat nyit meg a Responses API-ban. A kódvégrehajtással a modell ír egy szkriptet – például Playwright vagy PyAutoGUI nyelven –, amelyet az elszigetelt környezeted végrehajt, majd visszaadja az eredményt és a képernyőmentéseket; egy egyetlen hívás ezután láncolhat hurkokat és feltételeket, így ez az az út, amelyet az OpenAI a GPT-6 Astrához ajánl. A computer eszközzel a modell strukturált egér- és billentyűzet-műveleteket ad vissza, amelyeket az alkalmazásod gesztusokká alakít; ez az eszköz továbbra is támogatott, és ezt fogod használni itt, mert ez tárja fel a hurkot annak nyers formájában. Az OpenAI SDK-k készen lévő segédeszközöket (ComputerToolset, BrowserToolset) is biztosítanak, amelyek kezelik ezt a hurkot helyetted.

Más szolgáltatók, különösen az Anthropic, hasonló eszközt kínálnak a saját API-jukban, eltérő adatcsere-formátummal: a tanfolyamban szereplő kód nem vihető át közvetlenül, de az elvek – hurok, műveletkezelő, elszigeteltség, emberi megerősítés – ugyanazok maradnak.

Amit nyersz, és amibe kerül

KritériumKlasszikus szkriptekSzámítógép-használat
FelületAPI vagy DOM-szelektorokVizuális (képernyőmentések)
TörékenységMegszakad, ha a felhasználói felület változikVizuálisan alkalmazkodik
KomplexitásWebhelyspecifikus kódTermészetes nyelvű utasítások
SebességGyorsLassabb (képernyőmentés hurok)

Olvasd ezt a táblázatot kompromisszumként, nem rangsorolásként. A nyers sebességet cseréled fel a rugalmasságra és a közel nulla karbantartási költségekre. Ötvenezer napi végrehajtásnál egy stabil oldalon, ahol te kontrollálod a HTML-t, a szkript marad a helyes választás. Egy havonta finomhangolt útvonalnál, vagy olyan szoftvereknél, amelyeknek nincs API-ja, a mérleg határozottan a másik oldalra billen – és ez a tanfolyam megtanít ennek a második esetnek a kezelésére.

Főbb megállapítások

  • A számítógép-használat lehetővé teszi az AI számára, hogy képernyőmentés-cselekvés hurok révén lássan és irányítson egy képernyőt
  • Ez egy eltérő paradigma a klasszikus szkriptektől: rugalmasabb, de lassabb
  • Az elsődleges felhasználási esetek közé tartozik az E2E tesztelés, az RPA, az adatkinyerés és a több alkalmazást érintő munkafolyamatok
  • Az OpenAI két utat kínál: a kódvégrehajtást, amelyet a GPT-6 Astrához ajánlanak, és a computer eszközt, amelyet ebben a tanfolyamban használunk