Konfigurace použití počítače v API
Na této stránce
Lekce přepsána 3. listopadu 2026 na základě příručky Computer use od OpenAI a receptů na integraci Computer use: konfigurace nyní využívá SDK
openai, proměnnou prostředíOPENAI_API_KEYa nástroj{"type": "computer"}v API Responses. Již se nespoléhá na SDK od Anthropic ani na zastaralý nástrojcomputer_20241022. Nástroj od OpenAI nevyžaduje rozměry obrazovky; souřadnice se vztahují k screenshotu, který poskytneš. Zdroje: Computer use · Integration recipes.
Předpoklady
Než napíšeš jediný řádek kódu, tvoje pracovní stanice potřebuje čtyři věci: aktuální verzi Pythonu 3, účet u OpenAI s aktivním API klíčem a přístupem k modelu, který podporuje nástroj computer, prohlížeč Chromium řízený knihovnou Playwright pro interakce s webem a Docker, pokud plánuješ agenta izolovat. Docker je během učení volitelný, ale OpenAI doporučuje izolovaný prohlížeč nebo virtuální stroj hned, jakmile agent začne interagovat s čímkoli jiným než s demo stránkou.
Pro model používá dokumentace OpenAI ve svých příkladech nástroje computer označení gpt-6.1-sol. Zkontroluj kartu modelu (v sekci Tools), abys potvrdil, že je použití počítače uvedeno a že k němu má tvůj projekt přístup.
Instalace závislostí
Pracuj ve vyhrazeném virtuálním prostředí. Agent pro použití počítače připíná konkrétní verze knihovny Playwright a jejích prohlížečů. Míchání těchto verzí s ostatními Python projekty povede ke konfliktům, jejichž diagnostika je bolestivá.
# Vytvoření a aktivace prostředí
python -m venv computer-use-env
source computer-use-env/bin/activate # Linux/Mac
# computer-use-env\Scripts\activate # Windows
# Instalace závislostí
pip install openai playwright pillow
# Instalace prohlížeče Playwright
playwright install chromium
Každý balíček hraje odlišnou roli: openai poskytuje klienta pro komunikaci s modelem, playwright řídí prohlížeč a provádí akce a pillow zpracovává manipulaci s obrázky, je-li potřeba. Poslední příkaz je ten, na který lidé nejčastěji zapomínají. Bez příkazu playwright install chromium je balíček sice nainstalován, ale žádný prohlížeč se nestáhne, což způsobí selhání prvního spuštění.
Nastavení API klíče
Ulož svůj klíč do proměnné prostředí, nikdy ho nepiš přímo do kódu. Tajný klíč zapsaný v kódu se dříve či později ocitne v Git repozitáři.
export OPENAI_API_KEY="tvuj-klic"
V produkčním prostředí použij správce tajných údajů. Klient si proměnnou přečte automaticky:
from openai import OpenAI
client = OpenAI() # načte OPENAI_API_KEY
Deklarace nástroje computer
Model ve výchozím nastavení neovládá obrazovku. Musíš v požadavku povolit nástroj computer a popsat očekávaný výsledek.
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=(
"Zkontroluj, zda je panel Filtry otevřený. Pokud ne, "
"klikni na Zobrazit filtry a poté zadej tučňák do vyhledávacího "
"pole. Pro interakci s rozhraním použij nástroj computer."
),
)
print(response.output)
Deklarace je prostě {"type": "computer"}. Na rozdíl od rané náhledové verze (computer_use_preview) nevyžaduje ani rozměry obrazovky, ani typ prostředí a automatické zkracování již není nutné. Souřadnice, které model vrátí, se vztahují k screenshotu, který odešleš. Zachyť přesně oblast, na kterou chceš kliknout, a to ve stejném měřítku. Pokud screenshot před odesláním změníš velikost, musíš souřadnice před provedením akce převést zpět.
Konfigurace prohlížeče
Na straně knihovny Playwright zabal logiku spouštění do funkce, kterou můžeš znovu použít pro různé úlohy.
from playwright.sync_api import sync_playwright
def launch_browser(width=1280, height=720):
"""Spustí izolovaný prohlížeč pro použití počítače."""
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True) # False pro sledování agenta
context = browser.new_context(viewport={"width": width, "height": height})
page = context.new_page()
return pw, browser, page
Metoda page.screenshot() zachytí viewport, takže souřadnice modelu platí přímo pro page.mouse. Volba headless=True spustí prohlížeč bez uživatelského rozhraní, což je na serveru nezbytné. Během vývoje nastav tuto hodnotu na False, abys mohl sledovat práci agenta. Je to nejrychlejší způsob, jak pochopit, proč dělá chyby.
Organizace projektu
Od začátku odděl logiku prohlížeče, smyčku agenta a provádění akcí.
computer-use-project/
├── .env # OPENAI_API_KEY (nikdy necommitovat)
├── requirements.txt # openai, playwright, pillow
├── src/
│ ├── __init__.py
│ ├── browser.py # Spuštění a zachycení
│ ├── agent.py # Smyčka Computer Use
│ └── actions.py # Provádění akcí
└── tasks/
└── example.py # Skripty úloh
Ověření instalace
Nestav komplexní workflow na neověřené konfiguraci. Pokud první spuštění selže, nebudeš vědět, zda je problém v klíči, prohlížeči, nebo tvém promptu. Tento minimální skript otestuje celý řetězec: klienta, prohlížeč, zachycení a přenos obrázku modelu.
import base64
from openai import OpenAI
from playwright.sync_api import sync_playwright
def test_installation():
"""Ověří, že klíč, prohlížeč a nahrávání obrázků fungují."""
client = OpenAI()
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True)
page = browser.new_page(viewport={"width": 1280, "height": 720})
page.goto("https://example.com")
capture = base64.b64encode(page.screenshot()).decode("utf-8")
response = client.responses.create(
model="gpt-6.1-sol",
input=[{
"role": "user",
"content": [
{"type": "input_text", "text": "Popiš, co vidíš."},
{"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
],
}],
)
print("Odpověď:", response.output_text)
browser.close()
pw.stop()
if __name__ == "__main__":
test_installation()
Pokud konzole zobrazí popis stránky example.com, je tvoje konfigurace připravena a můžeš přistoupit k vytvoření plnohodnotného agenta.
Klíčové poznatky
- Nainstaluj
openai,playwrightapillowdo vyhrazeného virtuálního prostředí a poté spusťplaywright install chromium - Uchovávej
OPENAI_API_KEYv proměnné prostředí, nikdy ne v kódu - Deklaruj nástroj pomocí
tools=[{"type": "computer"}]s použitím podporovaného modelu (příklady od OpenAI používajígpt-6.1-sol) - Souřadnice modelu se vztahují k odeslanému screenshotu: zachyť oblast, na kterou působíš, ve stejném měřítku
- Vždy testuj s minimálním skriptem, než začneš budovat komplexní workflow