Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Architektúra: Snímky obrazovky, akcie a interakčná slučka

Lekcia 2 z 14 Aktualizované 3. novembra 2026 Vývojár
Na tejto strane
  1. Cyklus vnímanie – akcia
  2. Východiskový bod: snímka obrazovky
  3. Analýza a rozhodovanie
  4. Repertoár akcií
  5. Kompletný tok
  6. Cena jedného ťahu slučky
  7. Kľúčové poznatky

Lekcia prepísaná 3. novembra 2026 na základe príručky Computer use od OpenAI a receptov na integráciu Computer use: Tento kurz sa predtým spoliehal na API od Anthropic (import anthropic, nástroj computer_20241022). Teraz využíva nástroj computer z API Responses od OpenAI, pričom akcie sú zoskupené v computer_call a snímky obrazovky sa vracajú prostredníctvom computer_call_output. Odstránili sme neoverené počty tokenov a odhady trvania z predchádzajúcej verzie. Zdroje: Computer use · Integration recipes.

Cyklus vnímanie – akcia

Celá architektúra používania počítača (Computer Use) sa redukuje na jediný cyklus: pozoruj → rozhodni sa → konaj → pozoruj. Kým ti tento cyklus nebude jasný, tvoje automatizácie budú nestále; akonáhle to pochopíš, zvyšok je už len technická realizácia.

Rozdiel oproti skriptu Selenium spočíva v tom, kde sa nachádza znalosť. Selenium slepo vykonáva vopred určenú sekvenciu: klikni sem, potom tam, potom napíš toto. Computer Use vyberie ďalší krok až po tom, čo uvidí výsledok toho predchádzajúceho. Vyskočí okno, stránka sa načítava dlhšie alebo sa cez noc zmení popis tlačidla: vo všetkých troch prípadoch model vidí aktuálnu situáciu a prispôsobí sa, zatiaľ čo skript pokračuje v recitácii do prázdna.

Pri nástroji computer od OpenAI prebieha výmena v troch krokoch: pošleš úlohu, vykonáš akcie, ktoré model vráti, a následne pošleš späť snímku obrazovky. Tvoja aplikácia drží myš a klávesnicu; model iba rozhoduje.

Východiskový bod: snímka obrazovky

Každý ťah sa spolieha na obrázok aktuálneho stavu obrazovky. Táto snímka pochádza z prehliadača ovládaného nástrojom Playwright – čo je najbežnejší prípad pri automatizácii webu –, z virtuálnej plochy pri automatizácii desktopovej aplikácie alebo z kontajnera Docker, ktorý izoluje agenta. OpenAI vo všetkých prípadoch odporúča používať izolovaný prehliadač alebo virtuálny stroj.

import base64

def capture_screen(page) -> str:
    """Zachyť obrazovku pomocou Playwright a vráť obrázok PNG ako base64."""
    return base64.b64encode(page.screenshot()).decode("utf-8")

Snímka sa vracia modelu ako dátové URL vo formáte PNG. Počíta sa ako vstupný obrázok, takže ovplyvňuje náklady každého ťahu: veľkosť okna, ktoré zachytíš, je skutočným dizajnovým parametrom.

Analýza a rozhodovanie

Model dostane úlohu, históriu konverzácie a najnovšiu snímku obrazovky. Jeho odpoveďou nie je veta, ale položka computer_call, ktorá nesie usporiadaný zoznam akcií na vykonanie. Tu je príklad z dokumentácie OpenAI, ktorý vyberie vyhľadávacie pole a potom napíše slovo:

{
  "type": "computer_call",
  "call_id": "call_002",
  "actions": [
    { "type": "click", "button": "left", "x": 405, "y": 157 },
    { "type": "type", "text": "penguin" }
  ],
  "status": "completed"
}

Dôležité sú dva detaily. Prvý volanie môže obsahovať iba akciu screenshot: model žiada vidieť obrazovku pred konaním a ty vrátiš snímku bez toho, aby si niečo zmenil. Tiež status: "completed" znamená, že model dokončil generovanie volania, nie že akcie boli vykonané: ich vykonanie je na tebe.

Repertoár akcií

Slovná zásoba dostupná modelu je zámerne obmedzená; v kombinácii tieto primitíva pokrývajú väčšinu toho, čo človek robí s myšou a klávesnicou.

AkciaPopisPolia
clickKliknutie na pozíciux, y, button (left, right, wheel, back, forward)
double_clickDvojité kliknutiex, y
dragŤahanie po dráhepath (zoznam bodov)
movePresun ukazovateľax, y
scrollPosunx, y, scroll_x, scroll_y
keypressKláves alebo kombináciakeys (napr. ["CTRL", "A"])
typeNapísanie textutext
waitČakanie na načítanie stránky—
screenshotPožiadavka na novú snímku—

Kompletný tok

Tieto prvky spolu vytvárajú nasledujúcu slučku, modelovanú podľa dokumentácie OpenAI. Pokiaľ odpoveď obsahuje computer_call, vykonáš jej akcie, zachytíš obrazovku a vrátiš snímku v computer_call_output, ktoré znovu použije rovnaké call_id; previous_response_id prepája každý ťah s tým predchádzajúcim.

from openai import OpenAI

client = OpenAI()

def computer_use_loop(page, task: str):
    """Slučka Computer Use s nástrojom computer z API Responses."""
    response = client.responses.create(
        model="gpt-6.1-sol",
        tools=[{"type": "computer"}],
        input=task,
    )

    while True:
        call = next(
            (item for item in response.output if item.type == "computer_call"),
            None,
        )
        if call is None:
            return response.output_text  # žiadne ďalšie požadované akcie: úloha je hotová

        execute_actions(page, call.actions)  # tvoj obslužný program pre akcie (Lekcia 4)
        screenshot = capture_screen(page)

        response = client.responses.create(
            model="gpt-6.1-sol",
            tools=[{"type": "computer"}],
            previous_response_id=response.id,
            input=[{
                "type": "computer_call_output",
                "call_id": call.call_id,
                "output": {
                    "type": "computer_screenshot",
                    "image_url": f"data:image/png;base64,{screenshot}",
                    "detail": "original",
                },
            }],
        )

Táto slučka zatiaľ nemá žiadne ochranné mechanizmy: v produkcii obmedz počet ťahov, trvanie a náklady; zastav sa, ak volanie obsahuje čakajúce bezpečnostné kontroly (pending_safety_checks); a over skutočný výsledok, namiesto toho, aby si veril iba záverečnej správe modelu. Ide o bezpečnostné smernice OpenAI, ktoré sú pokryté v Lekcii 12.

Cena jedného ťahu slučky

Každá požiadavka na API Responses účtuje vstupné a výstupné tokeny a každá snímka obrazovky sa počíta ako vstupný obrázok; hostované prostredie môže byť fakturované samostatne. Cena úlohy teda závisí od počtu ťahov, veľkosti snímky a modelu – a rastie rýchlejšie ako počet ťahov, pretože aj pri použití previous_response_id sa všetky vstupné tokeny z predchádzajúcich odpovedí v reťazci pri každej požiadavke znova účtujú ako vstup. OpenAI poskytuje kalkulačku nákladov na obrázky a expose využitie pre každú požiadavku: meraj si to na vlastných workflow pred rozpočtovaním. Skript Selenium bude vždy robiť to isté rýchlejšie a lacnejšie – ale budeš ho musieť prepísať zakaždým, keď sa formulár zmení, čo agent nevyžaduje.

Kľúčové poznatky

  • Slučka úloha → akcie → snímka je srdcom Computer Use; tvoja aplikácia vykonáva akcie
  • Pri OpenAI deklaruj nástroj pomocou tools=[{"type": "computer"}] v API Responses
  • computer_call nesie usporiadaný zoznam akcií (click, type, scroll, keypress atď.) na postupné vykonanie
  • Snímka sa vracia modelu v computer_call_output s rovnakým call_id, prepojená cez previous_response_id
  • Každý ťah stojí tokeny a jeden obrázok: obmedz počet ťahov a meraj ich pred rozpočtovaním