Co je Computer Use
Na této stránce
Lekce aktualizována 3. listopadu 2026 na základě příručky Computer use od OpenAI: tento kurz nyní sleduje nástroj
computerv Responses API, který nahrazuje předchozí přístup přes Anthropic API. Sekce o hráčích v ekosystému pokrývá obě cesty zdokumentované OpenAI (spouštění kódu, doporučené pro GPT-6 Astra, a nástrojcomputer). Odstranili jsme nepodložená tvrzení o konkurenčních produktech. Zdroj: Computer use.
Nový způsob interakce se stroji
Jazykové modely byly roky čistě textovými interlocutory: položil jsi otázku, dostal odpověď a vše, co zahrnovalo reálný svět, jsi musel vyřešit sám. Computer Use tuto bariéru bourá. Model vidí obrazovku a rozhoduje se, jaké gesty provést – kliknutí, psaní, rolování, přepínání aplikací – a tvá aplikace tyto akce jeho jménem执行.
Tento posun je hlubší, než se zdá. Tradiční automatizace lpí na technických kotvách: CSS selektoru, DOM ID nebo API, které se dodavatel softwaru rozhodl zpřístupnit. Jakmile tým front-endu přejmenuje třídu, skript se zastaví a často si toho nikdo nevšimne, dokud next den nedorazí prázdná reportovací zpráva. S Computer Use vydáš instrukci v přirozeném jazyce a AI se pohybuje rozhraním přesně tak, jak ho vnímá člověk. Tlačítko „Odeslat“, které se posunulo o tři palce nebo bylo přebarveno na zeleno, zůstává tlačítkem „Odeslat“.
Smyčka, která to umožňuje
Mechanismus funguje v pěti krocích a jejich opakování vytváří jeho sílu:
- Tvá aplikace zachytí obrazovku nebo okno prohlížeče
- Model analyzuje obrázek, aby pochopil, co vidí
- Rozhodne se pro jednu nebo více akcí (klik, stisk klávesy, rolování)
- Tvá aplikace tyto akce na stroji provede
- Nový snímek se vrátí modelu a smyčka začíná znovu
Tato smyčka vnímání-akce je jádrem systému. Představ si běžný scénář: tvůj agent musí vyplnit kontaktní formulář, ale při načtení se přes něj vyskočí banner se soubory cookie. Skript Selenium, který s tím nepočítal, klikne do prázdna a vyhodí chybu, kterou je těžké interpretovat. Agent Computer Use však banner na svém snímku vidí, zpracuje ho, pořídí další snímek a znovu najde formulář. Neodříkává rigidní plán; situaci přehodnocuje v každé iteraci.
Co ve skutečnosti automatizujeme
Primárním případem použití je end-to-end testování. Popíšeš cestu k ověření – „přihlásit se, přidat položku do košíku, přejít k pokladně“ – a agent ji provede jako uživatel, aniž bys musel udržovat knihovnu selektorů, které expirují s každým redesignem webu.
Další je RPA, automatizace opakujících se úkolů na softwaru bez API: zastaralý interní ERP, extranet dodavatele nebo business aplikace z roku 2000, jejíž výrobce již neexistuje. Tam, kde je technická integrace nemožná, agent pracuje přes obrazovku, přesně jako zaměstnanec, který dříve přepisoval data ručně.
Scraping se také stává dostupným na dynamických webech, které odolávají tradičním extraktorům, protože agent čte vykreslenou stránku místo surového HTML. Pracovní postupy zahrnující více aplikací – stažení objednávky z CRM, její zadání do tabulky, odeslání potvrzovacího e-mailu – se řetězí v jedné relaci. Tato stejná schopnost slouží uživatelské podpoře: místo vysvětlování, kam kliknout, agent skutečně naviguje rozhraním.
Hráči v roce 2026
Tento kurz sleduje nabídku OpenAI, která v Responses API otevírá dvě cesty. Při spouštění kódu model napíše skript – například v Playwright nebo PyAutoGUI – který tvé izolované prostředí provede před vrácením výsledku a snímků obrazovky; jediný volání pak může řetězit smyčky a podmínky, což je cesta, kterou OpenAI doporučuje pro GPT-6 Astra. S nástrojem computer model vrací strukturované akce myši a klávesnice, které tvá aplikace převede na gesta; tento nástroj je stále podporován a ty ho budeš používat zde, protože odhaluje smyčku v její syrové podobě. SDK OpenAI také poskytují hotové pomocníky (ComputerToolset, BrowserToolset), kteří tuto smyčku spravují za tebe.
Jiní poskytovatelé, zejména Anthropic, nabízejí ve svém API srovnatelný nástroj s odlišným formátem výměny: kód v tomto kurzu se přímo nepřepisuje, ale principy – smyčka, správce akcí, izolace, lidské potvrzení – zůstávají stejné.
Co získáš a co zaplatíš
| Kritérium | Klasické skripty | Computer Use |
|---|---|---|
| Rozhraní | API nebo DOM selektory | Vizuální (snímky obrazovky) |
| Křehkost | Rozbije se při změně UI | Vizuálně se přizpůsobí |
| Složitost | Kód specifický pro web | Instrukce v přirozeném jazyce |
| Rychlost | Rychlé | Pomalejší (smyčka snímků) |
Čti tuto tabulku jako kompromis, nikoliv jako žebříček. Vyměňuješ hrubou rychlost za odolnost a téměř nulové náklady na údržbu. Pro padesát tisíc denních provedení na stabilní stránce, kde ovládáš HTML, zůstává skript správnou volbou. Pro cestu upravovanou každý měsíc nebo pro software bez API se váha rozhodně převáží na druhou stranu – a tento kurz tě naučí zvládat právě tento druhý případ.
Klíčové poznatky
- Computer Use umožňuje AI vidět a ovládat obrazovku prostřednictvím smyčky snímek-akce
- Je to odlišný paradigm od klasických skriptů: odolnější, ale pomalejší
- Mezi hlavní případy použití patří E2E testování, RPA, scraping a pracovní postupy napříč aplikacemi
- OpenAI nabízí dvě cesty: spouštění kódu, doporučené pro GPT-6 Astra, a nástroj
computer, který se používá v tomto kurzu