Architektúra: Snímky obrazovky, akcie a interakčná slučka
Na tejto strane
Lekcia prepísaná 3. novembra 2026 na základe príručky Computer use od OpenAI a receptov na integráciu Computer use: Tento kurz sa predtým spoliehal na API od Anthropic (
import anthropic, nástrojcomputer_20241022). Teraz využíva nástrojcomputerz API Responses od OpenAI, pričom akcie sú zoskupené vcomputer_calla snímky obrazovky sa vracajú prostredníctvomcomputer_call_output. Odstránili sme neoverené počty tokenov a odhady trvania z predchádzajúcej verzie. Zdroje: Computer use · Integration recipes.
Cyklus vnímanie – akcia
Celá architektúra používania počítača (Computer Use) sa redukuje na jediný cyklus: pozoruj → rozhodni sa → konaj → pozoruj. Kým ti tento cyklus nebude jasný, tvoje automatizácie budú nestále; akonáhle to pochopíš, zvyšok je už len technická realizácia.
Rozdiel oproti skriptu Selenium spočíva v tom, kde sa nachádza znalosť. Selenium slepo vykonáva vopred určenú sekvenciu: klikni sem, potom tam, potom napíš toto. Computer Use vyberie ďalší krok až po tom, čo uvidí výsledok toho predchádzajúceho. Vyskočí okno, stránka sa načítava dlhšie alebo sa cez noc zmení popis tlačidla: vo všetkých troch prípadoch model vidí aktuálnu situáciu a prispôsobí sa, zatiaľ čo skript pokračuje v recitácii do prázdna.
Pri nástroji computer od OpenAI prebieha výmena v troch krokoch: pošleš úlohu, vykonáš akcie, ktoré model vráti, a následne pošleš späť snímku obrazovky. Tvoja aplikácia drží myš a klávesnicu; model iba rozhoduje.
Východiskový bod: snímka obrazovky
Každý ťah sa spolieha na obrázok aktuálneho stavu obrazovky. Táto snímka pochádza z prehliadača ovládaného nástrojom Playwright – čo je najbežnejší prípad pri automatizácii webu –, z virtuálnej plochy pri automatizácii desktopovej aplikácie alebo z kontajnera Docker, ktorý izoluje agenta. OpenAI vo všetkých prípadoch odporúča používať izolovaný prehliadač alebo virtuálny stroj.
import base64
def capture_screen(page) -> str:
"""Zachyť obrazovku pomocou Playwright a vráť obrázok PNG ako base64."""
return base64.b64encode(page.screenshot()).decode("utf-8")
Snímka sa vracia modelu ako dátové URL vo formáte PNG. Počíta sa ako vstupný obrázok, takže ovplyvňuje náklady každého ťahu: veľkosť okna, ktoré zachytíš, je skutočným dizajnovým parametrom.
Analýza a rozhodovanie
Model dostane úlohu, históriu konverzácie a najnovšiu snímku obrazovky. Jeho odpoveďou nie je veta, ale položka computer_call, ktorá nesie usporiadaný zoznam akcií na vykonanie. Tu je príklad z dokumentácie OpenAI, ktorý vyberie vyhľadávacie pole a potom napíše slovo:
{
"type": "computer_call",
"call_id": "call_002",
"actions": [
{ "type": "click", "button": "left", "x": 405, "y": 157 },
{ "type": "type", "text": "penguin" }
],
"status": "completed"
}
Dôležité sú dva detaily. Prvý volanie môže obsahovať iba akciu screenshot: model žiada vidieť obrazovku pred konaním a ty vrátiš snímku bez toho, aby si niečo zmenil. Tiež status: "completed" znamená, že model dokončil generovanie volania, nie že akcie boli vykonané: ich vykonanie je na tebe.
Repertoár akcií
Slovná zásoba dostupná modelu je zámerne obmedzená; v kombinácii tieto primitíva pokrývajú väčšinu toho, čo človek robí s myšou a klávesnicou.
| Akcia | Popis | Polia |
|---|---|---|
click | Kliknutie na pozíciu | x, y, button (left, right, wheel, back, forward) |
double_click | Dvojité kliknutie | x, y |
drag | Ťahanie po dráhe | path (zoznam bodov) |
move | Presun ukazovateľa | x, y |
scroll | Posun | x, y, scroll_x, scroll_y |
keypress | Kláves alebo kombinácia | keys (napr. ["CTRL", "A"]) |
type | Napísanie textu | text |
wait | Čakanie na načítanie stránky | — |
screenshot | Požiadavka na novú snímku | — |
Kompletný tok
Tieto prvky spolu vytvárajú nasledujúcu slučku, modelovanú podľa dokumentácie OpenAI. Pokiaľ odpoveď obsahuje computer_call, vykonáš jej akcie, zachytíš obrazovku a vrátiš snímku v computer_call_output, ktoré znovu použije rovnaké call_id; previous_response_id prepája každý ťah s tým predchádzajúcim.
from openai import OpenAI
client = OpenAI()
def computer_use_loop(page, task: str):
"""Slučka Computer Use s nástrojom computer z API Responses."""
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=task,
)
while True:
call = next(
(item for item in response.output if item.type == "computer_call"),
None,
)
if call is None:
return response.output_text # žiadne ďalšie požadované akcie: úloha je hotová
execute_actions(page, call.actions) # tvoj obslužný program pre akcie (Lekcia 4)
screenshot = capture_screen(page)
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
previous_response_id=response.id,
input=[{
"type": "computer_call_output",
"call_id": call.call_id,
"output": {
"type": "computer_screenshot",
"image_url": f"data:image/png;base64,{screenshot}",
"detail": "original",
},
}],
)
Táto slučka zatiaľ nemá žiadne ochranné mechanizmy: v produkcii obmedz počet ťahov, trvanie a náklady; zastav sa, ak volanie obsahuje čakajúce bezpečnostné kontroly (pending_safety_checks); a over skutočný výsledok, namiesto toho, aby si veril iba záverečnej správe modelu. Ide o bezpečnostné smernice OpenAI, ktoré sú pokryté v Lekcii 12.
Cena jedného ťahu slučky
Každá požiadavka na API Responses účtuje vstupné a výstupné tokeny a každá snímka obrazovky sa počíta ako vstupný obrázok; hostované prostredie môže byť fakturované samostatne. Cena úlohy teda závisí od počtu ťahov, veľkosti snímky a modelu – a rastie rýchlejšie ako počet ťahov, pretože aj pri použití previous_response_id sa všetky vstupné tokeny z predchádzajúcich odpovedí v reťazci pri každej požiadavke znova účtujú ako vstup. OpenAI poskytuje kalkulačku nákladov na obrázky a expose využitie pre každú požiadavku: meraj si to na vlastných workflow pred rozpočtovaním. Skript Selenium bude vždy robiť to isté rýchlejšie a lacnejšie – ale budeš ho musieť prepísať zakaždým, keď sa formulár zmení, čo agent nevyžaduje.
Kľúčové poznatky
- Slučka úloha → akcie → snímka je srdcom Computer Use; tvoja aplikácia vykonáva akcie
- Pri OpenAI deklaruj nástroj pomocou
tools=[{"type": "computer"}]v API Responses computer_callnesie usporiadaný zoznam akcií (click,type,scroll,keypressatď.) na postupné vykonanie- Snímka sa vracia modelu v
computer_call_outputs rovnakýmcall_id, prepojená cezprevious_response_id - Každý ťah stojí tokeny a jeden obrázok: obmedz počet ťahov a meraj ich pred rozpočtovaním