Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Konfigurácia používania počítača v API

Lekcia 3 z 14 Aktualizované 3. novembra 2026 Vývojár
Na tejto strane
  1. Predpoklady
  2. Inštalácia závislostí
  3. Nastavenie API kľúča
  4. Deklarácia nástroja computer
  5. Konfigurácia prehliadača
  6. Organizácia projektu
  7. Overenie inštalácie
  8. Kľúčové poznatky

Lekcia prepísaná 3. novembra 2026 na základe príručky Computer use od OpenAI a receptov na integráciu Computer use: konfigurácia teraz využíva SDK openai, premennú prostredia OPENAI_API_KEY a nástroj {"type": "computer"} v Responses API. Už sa nespolieha na SDK od Anthropic ani na zastaraný nástroj computer_20241022. Nástroj od OpenAI nevyžaduje rozmery obrazovky; súradnice sa vzťahujú na snímku obrazovky, ktorú poskytnete. Zdroje: Computer use · Integration recipes.

Predpoklady

Predtým, ako napíšeš prvý riadok kódu, tvoja pracovná stanica potrebuje štyri veci: najnovšiu verziu Pythonu 3, účet OpenAI s aktívnym API kľúčom a prístupom k modelu, ktorý podporuje nástroj computer, prehliadač Chromium ovládaný knižnicou Playwright pre webové interakcie a Docker, ak plánuješ agenta izolovať. Docker je počas učenia voliteľný, no OpenAI odporúča izolovaný prehliadač alebo virtuálny stroj hneď, ako agent začne interagovať s čímkoľvek iným než s demo stránkou.

Pokiaľ ide o model, dokumentácia OpenAI používa vo svojich príkladoch nástroja computer model gpt-6.1-sol. Skontroluj kartu modelu (v sekcii Tools), či je použitie počítača uvedené a či má tvoj projekt prístup.

Inštalácia závislostí

Pracuj vo vyhradenom virtuálnom prostredí. Agent Computer Use fixuje konkrétne verzie knižnice Playwright a jej prehliadačov. Ich miešanie s ostatnými Python projektmi povedie ku konfliktom, ktorých diagnostika je bolestivá.

# Vytvorenie a aktivácia prostredia
python -m venv computer-use-env
source computer-use-env/bin/activate  # Linux/Mac
# computer-use-env\Scripts\activate   # Windows

# Inštalácia závislostí
pip install openai playwright pillow

# Inštalácia prehliadača Playwright
playwright install chromium

Každý balík zohráva odlišnú úlohu: openai poskytuje klienta pre komunikáciu s modelom, playwright ovláda prehliadač a vykonáva akcie a pillow v prípade potreby spracováva manipuláciu s obrázkami. Posledný príkaz ľudia najčastejšie zabúdajú. Bez príkazu playwright install chromium je balík nainštalovaný, ale žiadny prehliadač sa nestiahne, čo spôsobí zlyhanie pri prvom spustení.

Nastavenie API kľúča

Svoj kľúč ulož do premennej prostredia, nikdy ho nepíš priamo do kódu. Tajomstvo zapísané v kóde sa skôr či neskôr ocitne v Git repozitári.

export OPENAI_API_KEY="your-key"

V produkčnom prostredí používaj správcu tajomstiev. Klient si premennú prečíta automaticky:

from openai import OpenAI

client = OpenAI()  # prečíta OPENAI_API_KEY

Deklarácia nástroja computer

Model štandardne neovláda obrazovku. Musíš povoliť nástroj computer v požiadavke a opísať očakávaný výsledok.

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-6.1-sol",
    tools=[{"type": "computer"}],
    input=(
        "Skontroluj, či je panel Filtre otvorený. Ak nie, "
        "klikni na Zobraziť filtre a potom zadaj penguin do vyhľadávacieho "
        "poľa. Na interakciu s rozhraním použi nástroj computer."
    ),
)
print(response.output)

Deklarácia je jednoducho {"type": "computer"}. Na rozdiel od raných náhľadových verzií (computer_use_preview) nevyžaduje ani rozmery obrazovky, ani typ prostredia a automatické orezávanie už nie je potrebné. Súradnice, ktoré model vráti, sa vzťahujú na snímku obrazovky, ktorú odošleš. Zachyť presne oblasť, na ktorú chceš kliknúť, a to v rovnakej mierke. Ak pred odoslaním zmeníš veľkosť snímky obrazovky, musíš pred vykonaním akcie súradnice spätno previesť.

Konfigurácia prehliadača

Na strane Playwright zabaľ logiku spúšťania do funkcie, ktorú môžeš opakovane používať pri rôznych úlohách.

from playwright.sync_api import sync_playwright

def launch_browser(width=1280, height=720):
    """Spustí izolovaný prehliadač pre Computer Use."""
    pw = sync_playwright().start()
    browser = pw.chromium.launch(headless=True)  # False na sledovanie agenta
    context = browser.new_context(viewport={"width": width, "height": height})
    page = context.new_page()
    return pw, browser, page

Metóda page.screenshot() zachytí viewport, takže súradnice modelu sa priamo aplikujú na page.mouse. Možnosť headless=True spustí prehliadač bez grafického rozhrania, čo je na serveri nevyhnutné. Počas vývoja nastav túto hodnotu na False, aby si mohol sledovať prácu agenta. Je to najrýchlejší spôsob, ako pochopiť, prečo robí chyby.

Organizácia projektu

Od začiatku oddeľ logiku prehliadača, slučku agenta a vykonávanie akcií.

computer-use-project/
├── .env                  # OPENAI_API_KEY (nikdy necommitovať)
├── requirements.txt      # openai, playwright, pillow
├── src/
│   ├── __init__.py
│   ├── browser.py        # Spustenie a zachytenie
│   ├── agent.py          # Slučka Computer Use
│   └── actions.py        # Vykonávanie akcií
└── tasks/
    └── example.py        # Skripty úloh

Overenie inštalácie

Nestavaj komplexný workflow na neoverenej konfigurácii. Ak prvé spustenie zlyhá, nebudeš vedieť, či je problém v kľúči, prehliadači, alebo tvojom promte. Tento minimálny skript otestuje celý reťazec: klienta, prehliadač, zachytenie a odoslanie obrázka modelu.

import base64

from openai import OpenAI
from playwright.sync_api import sync_playwright

def test_installation():
    """Overí, či kľúč, prehliadač a nahrávanie obrázkov fungujú."""
    client = OpenAI()

    pw = sync_playwright().start()
    browser = pw.chromium.launch(headless=True)
    page = browser.new_page(viewport={"width": 1280, "height": 720})
    page.goto("https://example.com")
    capture = base64.b64encode(page.screenshot()).decode("utf-8")

    response = client.responses.create(
        model="gpt-6.1-sol",
        input=[{
            "role": "user",
            "content": [
                {"type": "input_text", "text": "Opíš, čo vidíš."},
                {"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
            ],
        }],
    )
    print("Odpoveď:", response.output_text)

    browser.close()
    pw.stop()

if __name__ == "__main__":
    test_installation()

Ak sa v konzole zobrazí opis stránky example.com, tvoja konfigurácia je pripravená a môžeš pokračovať vo vytváraní plnohodnotného agenta.

Kľúčové poznatky

  • Nainštaluj openai, playwright a pillow do vyhradeného virtuálneho prostredia a potom spusti playwright install chromium
  • Uchovávaj OPENAI_API_KEY v premennej prostredia, nikdy nie v kóde
  • Deklaruj nástroj pomocou tools=[{"type": "computer"}] s použitím podporovaného modelu (príklady OpenAI používajú gpt-6.1-sol)
  • Súradnice modelu sa vzťahujú na odoslanú snímku obrazovky: zachyť oblasť, na ktorú budeš pôsobiť, v rovnakej mierke
  • Pred vytvorením komplexných workflow vždy otestuj systém minimálnym skriptom