Konfigurácia používania počítača v API
Na tejto strane
Lekcia prepísaná 3. novembra 2026 na základe príručky Computer use od OpenAI a receptov na integráciu Computer use: konfigurácia teraz využíva SDK
openai, premennú prostrediaOPENAI_API_KEYa nástroj{"type": "computer"}v Responses API. Už sa nespolieha na SDK od Anthropic ani na zastaraný nástrojcomputer_20241022. Nástroj od OpenAI nevyžaduje rozmery obrazovky; súradnice sa vzťahujú na snímku obrazovky, ktorú poskytnete. Zdroje: Computer use · Integration recipes.
Predpoklady
Predtým, ako napíšeš prvý riadok kódu, tvoja pracovná stanica potrebuje štyri veci: najnovšiu verziu Pythonu 3, účet OpenAI s aktívnym API kľúčom a prístupom k modelu, ktorý podporuje nástroj computer, prehliadač Chromium ovládaný knižnicou Playwright pre webové interakcie a Docker, ak plánuješ agenta izolovať. Docker je počas učenia voliteľný, no OpenAI odporúča izolovaný prehliadač alebo virtuálny stroj hneď, ako agent začne interagovať s čímkoľvek iným než s demo stránkou.
Pokiaľ ide o model, dokumentácia OpenAI používa vo svojich príkladoch nástroja computer model gpt-6.1-sol. Skontroluj kartu modelu (v sekcii Tools), či je použitie počítača uvedené a či má tvoj projekt prístup.
Inštalácia závislostí
Pracuj vo vyhradenom virtuálnom prostredí. Agent Computer Use fixuje konkrétne verzie knižnice Playwright a jej prehliadačov. Ich miešanie s ostatnými Python projektmi povedie ku konfliktom, ktorých diagnostika je bolestivá.
# Vytvorenie a aktivácia prostredia
python -m venv computer-use-env
source computer-use-env/bin/activate # Linux/Mac
# computer-use-env\Scripts\activate # Windows
# Inštalácia závislostí
pip install openai playwright pillow
# Inštalácia prehliadača Playwright
playwright install chromium
Každý balík zohráva odlišnú úlohu: openai poskytuje klienta pre komunikáciu s modelom, playwright ovláda prehliadač a vykonáva akcie a pillow v prípade potreby spracováva manipuláciu s obrázkami. Posledný príkaz ľudia najčastejšie zabúdajú. Bez príkazu playwright install chromium je balík nainštalovaný, ale žiadny prehliadač sa nestiahne, čo spôsobí zlyhanie pri prvom spustení.
Nastavenie API kľúča
Svoj kľúč ulož do premennej prostredia, nikdy ho nepíš priamo do kódu. Tajomstvo zapísané v kóde sa skôr či neskôr ocitne v Git repozitári.
export OPENAI_API_KEY="your-key"
V produkčnom prostredí používaj správcu tajomstiev. Klient si premennú prečíta automaticky:
from openai import OpenAI
client = OpenAI() # prečíta OPENAI_API_KEY
Deklarácia nástroja computer
Model štandardne neovláda obrazovku. Musíš povoliť nástroj computer v požiadavke a opísať očakávaný výsledok.
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=(
"Skontroluj, či je panel Filtre otvorený. Ak nie, "
"klikni na Zobraziť filtre a potom zadaj penguin do vyhľadávacieho "
"poľa. Na interakciu s rozhraním použi nástroj computer."
),
)
print(response.output)
Deklarácia je jednoducho {"type": "computer"}. Na rozdiel od raných náhľadových verzií (computer_use_preview) nevyžaduje ani rozmery obrazovky, ani typ prostredia a automatické orezávanie už nie je potrebné. Súradnice, ktoré model vráti, sa vzťahujú na snímku obrazovky, ktorú odošleš. Zachyť presne oblasť, na ktorú chceš kliknúť, a to v rovnakej mierke. Ak pred odoslaním zmeníš veľkosť snímky obrazovky, musíš pred vykonaním akcie súradnice spätno previesť.
Konfigurácia prehliadača
Na strane Playwright zabaľ logiku spúšťania do funkcie, ktorú môžeš opakovane používať pri rôznych úlohách.
from playwright.sync_api import sync_playwright
def launch_browser(width=1280, height=720):
"""Spustí izolovaný prehliadač pre Computer Use."""
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True) # False na sledovanie agenta
context = browser.new_context(viewport={"width": width, "height": height})
page = context.new_page()
return pw, browser, page
Metóda page.screenshot() zachytí viewport, takže súradnice modelu sa priamo aplikujú na page.mouse. Možnosť headless=True spustí prehliadač bez grafického rozhrania, čo je na serveri nevyhnutné. Počas vývoja nastav túto hodnotu na False, aby si mohol sledovať prácu agenta. Je to najrýchlejší spôsob, ako pochopiť, prečo robí chyby.
Organizácia projektu
Od začiatku oddeľ logiku prehliadača, slučku agenta a vykonávanie akcií.
computer-use-project/
├── .env # OPENAI_API_KEY (nikdy necommitovať)
├── requirements.txt # openai, playwright, pillow
├── src/
│ ├── __init__.py
│ ├── browser.py # Spustenie a zachytenie
│ ├── agent.py # Slučka Computer Use
│ └── actions.py # Vykonávanie akcií
└── tasks/
└── example.py # Skripty úloh
Overenie inštalácie
Nestavaj komplexný workflow na neoverenej konfigurácii. Ak prvé spustenie zlyhá, nebudeš vedieť, či je problém v kľúči, prehliadači, alebo tvojom promte. Tento minimálny skript otestuje celý reťazec: klienta, prehliadač, zachytenie a odoslanie obrázka modelu.
import base64
from openai import OpenAI
from playwright.sync_api import sync_playwright
def test_installation():
"""Overí, či kľúč, prehliadač a nahrávanie obrázkov fungujú."""
client = OpenAI()
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True)
page = browser.new_page(viewport={"width": 1280, "height": 720})
page.goto("https://example.com")
capture = base64.b64encode(page.screenshot()).decode("utf-8")
response = client.responses.create(
model="gpt-6.1-sol",
input=[{
"role": "user",
"content": [
{"type": "input_text", "text": "Opíš, čo vidíš."},
{"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
],
}],
)
print("Odpoveď:", response.output_text)
browser.close()
pw.stop()
if __name__ == "__main__":
test_installation()
Ak sa v konzole zobrazí opis stránky example.com, tvoja konfigurácia je pripravená a môžeš pokračovať vo vytváraní plnohodnotného agenta.
Kľúčové poznatky
- Nainštaluj
openai,playwrightapillowdo vyhradeného virtuálneho prostredia a potom spustiplaywright install chromium - Uchovávaj
OPENAI_API_KEYv premennej prostredia, nikdy nie v kóde - Deklaruj nástroj pomocou
tools=[{"type": "computer"}]s použitím podporovaného modelu (príklady OpenAI používajúgpt-6.1-sol) - Súradnice modelu sa vzťahujú na odoslanú snímku obrazovky: zachyť oblasť, na ktorú budeš pôsobiť, v rovnakej mierke
- Pred vytvorením komplexných workflow vždy otestuj systém minimálnym skriptom