Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Architektura: Snímky obrazovky, akce a smyčka interakce

Lekce 2 z 14 Aktualizováno 3. listopadu 2026 Vývojář
Na této stránce
  1. Smyčka vnímání a akce
  2. Výchozí bod: snímek obrazovky
  3. Analýza a rozhodování
  4. Repertoár akcí
  5. Celý tok
  6. Cena jednoho tahu smyčky
  7. Klíčové poznatky

Lekce přepsána 3. listopadu 2026 na základě příručky Computer use od OpenAI a receptů pro integraci Computer use: Tento kurz dříve spoléhal na API Anthropic (import anthropic, nástroj computer_20241022). Nyní využívá nástroj computer z API Responses od OpenAI, přičemž akce jsou seskupeny v computer_call a snímky obrazovky jsou vraceny prostřednictvím computer_call_output. Odstranili jsme nepodložené počty tokenů a odhady délky trvání z předchozí verze. Zdroje: Computer use · Integration recipes.

Smyčka vnímání a akce

Celá architektura Computer Use se redukuje na jediný cyklus: pozoruj → rozhodni se → jednej → pozoruj. Dokud ti tento cyklus nebude jasný, tvoje automatizace budou nestabilní; jakmile to cvakne, zbytek je už jen technické propojení.

Rozdíl oproti skriptu Selenium spočívá v tom, kde sídlí znalosti. Selenium slepě provádí předem danou sekvenci: klikni sem, pak tam, pak napiš toto. Computer Use zvolí další krok až poté, co vidí výsledek toho předchozího. Vyskočí okno, stránka se načítá déle nebo se přes noc změní popisek tlačítka: ve všech třech případech model vidí aktuální situaci a přizpůsobí se, zatímco skript pokračuje v recitování do prázdna.

S nástrojem computer od OpenAI probíhá výměna ve třech krocích: pošleš úkol, provedeš akce, které model vrátí, a následně odešleš zpět snímek obrazovky. Tvoje aplikace drží myš a klávesnici; model pouze rozhoduje.

Výchozí bod: snímek obrazovky

Každý tah závisí na obrázku aktuálního stavu obrazovky. Tento snímek pochází z prohlížeče ovládaného knihovnou Playwright – což je nejběžnější případ pro webovou automatizaci –, z virtuální plochy při automatizaci desktopové aplikace nebo z kontejneru Docker, který agenta izoluje. OpenAI doporučuje ve všech případech používat izolovaný prohlížeč nebo virtuální stroj.

import base64

def capture_screen(page) -> str:
    """Pořiď snímek obrazovky pomocí Playwright a vrať obrázek PNG jako base64."""
    return base64.b64encode(page.screenshot()).decode("utf-8")

Snímek se vrací modelu jako datová URL ve formátu PNG. Počítá se jako vstupní obrázek, takže ovlivňuje náklady každého tahu: velikost okna, které zachytíš, je skutečným designovým parametrem.

Analýza a rozhodování

Model obdrží úkol, historii konverzace a nejnovější snímek obrazovky. Jeho odpovědí není věta, ale položka computer_call, která nese uspořádaný seznam akcí k provedení. Zde je příklad z dokumentace OpenAI, který vybere vyhledávací pole a poté napíše slovo:

{
  "type": "computer_call",
  "call_id": "call_002",
  "actions": [
    { "type": "click", "button": "left", "x": 405, "y": 157 },
    { "type": "type", "text": "penguin" }
  ],
  "status": "completed"
}

Dva detaily jsou důležité. První volání může obsahovat pouze akci screenshot: model žádá o pohled na obrazovku před jednáním a ty vrátíš snímek bez jakýchkoli změn. Také status: "completed" znamená, že model dokončil generování volání, nikoliv že byly akce provedeny: jejich provedení je na tobě.

Repertoár akcí

Slovník dostupný modelu je záměrně omezený; v kombinaci tyto primitivní operace pokrývají většinu toho, co člověk dělá s myší a klávesnicí.

AkcePopisPole
clickKliknutí na pozicix, y, button (left, right, wheel, back, forward)
double_clickDvojité kliknutíx, y
dragTažení po drázepath (seznam bodů)
movePřesunutí ukazatelex, y
scrollPosunx, y, scroll_x, scroll_y
keypressKlávesa nebo kombinacekeys (např. ["CTRL", "A"])
typeNapsání textutext
waitNechat stránku načíst—
screenshotVyžádat nový snímek obrazovky—

Celý tok

Tyto prvky dohromady vytvářejí následující smyčku, modelovanou podle dokumentace OpenAI. Dokud odpověď obsahuje computer_call, provedeš její akce, zachytíš obrazovku a vrátíš snímek v computer_call_output, které znovu použije stejné call_id; previous_response_id propojuje každý tah s tím předchozím.

from openai import OpenAI

client = OpenAI()

def computer_use_loop(page, task: str):
    """Smyčka Computer Use s nástrojem computer z API Responses."""
    response = client.responses.create(
        model="gpt-6.1-sol",
        tools=[{"type": "computer"}],
        input=task,
    )

    while True:
        call = next(
            (item for item in response.output if item.type == "computer_call"),
            None,
        )
        if call is None:
            return response.output_text  # žádné další požadované akce: úkol je hotov

        execute_actions(page, call.actions)  # tvůj obslužný program pro akce (Lekce 4)
        screenshot = capture_screen(page)

        response = client.responses.create(
            model="gpt-6.1-sol",
            tools=[{"type": "computer"}],
            previous_response_id=response.id,
            input=[{
                "type": "computer_call_output",
                "call_id": call.call_id,
                "output": {
                    "type": "computer_screenshot",
                    "image_url": f"data:image/png;base64,{screenshot}",
                    "detail": "original",
                },
            }],
        )

Tato smyčka zatím nemá žádná bezpečnostní omezení: v produkčním prostředí omez počet tahů, dobu trvání a náklady; zastav proces, pokud volání obsahuje čekající bezpečnostní kontroly (pending_safety_checks); a ověř skutečný výsledek, místo abys věřil pouze závěrečné zprávě modelu. Jedná se o bezpečnostní pokyny OpenAI, které jsou probírány v Lekci 12.

Cena jednoho tahu smyčky

Každý požadavek na API Responses účtuje vstupní a výstupní tokeny a každý snímek obrazovky se počítá jako vstupní obrázek; hostované prostředí může být fakturováno samostatně. Cena úkolu tedy závisí na počtu tahů, velikosti snímku a modelu – a roste rychleji než počet tahů, protože i při použití previous_response_id se všechny vstupní tokeny z předchozích odpovědí v řetězci při každém požadavku znovu účtují jako vstup. OpenAI poskytuje kalkulačku nákladů na obrázky a zpřístupňuje využití pro každý požadavek: měř na svých vlastních pracovních postupech před plánováním rozpočtu. Skript Selenium bude vždy dělat totéž rychleji a levněji – ale budeš ho muset přepsat pokaždé, když se formulář změní, což agent nevyžaduje.

Klíčové poznatky

  • Smyčka úkol → akce → snímek obrazovky je srdcem Computer Use; tvoje aplikace provádí akce
  • U OpenAI deklaruj nástroj pomocí tools=[{"type": "computer"}] v API Responses
  • computer_call nese uspořádaný seznam akcí (click, type, scroll, keypress atd.) k postupnému provedení
  • Snímek obrazovky se vrací modelu v computer_call_output se stejným call_id, řetězeným pomocí previous_response_id
  • Každý tah stojí tokeny a jeden obrázek: omez počet tahů a měř před plánováním rozpočtu