Lähe põhisisu juurde
Eesti— Vali keel
Menüü

API arvutikasutuse konfigureerimine

Õppetund 3 / 14 Värskendatud 3. november 2026 Arendajatele
Sellel lehel
  1. Eeldused
  2. Sõltuvuste installimine
  3. API-võtme seadistamine
  4. Arvutitööriista deklareerimine
  5. Brauseri konfigureerimine
  6. Projekti organiseerimine
  7. Installimise kontrollimine
  8. Peamised punktid

Õppetund kirjutati ümber 3. novembril 2026, tuginedes OpenAI Computer use juhendile ja Computer use integration recipes: konfigureerimine kasutab nüüd openai SDK-d, keskkonnamuutujat OPENAI_API_KEY ja tööriista {"type": "computer"} vastuste API-s (Responses API). See ei sõltu enam Anthropic SDK-st ega iganenud tööriistast computer_20241022. OpenAI tööriist ei vaja ekraani mõõtmeid; koordinaadid viitavad sinu saadetud ekraanitõmmisele. Allikad: Computer use · Integration recipes.

Eeldused

Enne esimese koodirea kirjutamist vajab sinu tööjaam nelja asja: Python 3 värsket versiooni, OpenAI kontot aktiivse API-võtmega ja juurdepääsuga mudelile, mis toetab computer tööriista, Chromiumi brauserit, mida juhib Playwright veebitegevuste jaoks, ning Dockerit, kui plaanid agenti isoleerida. Docker on õppimise ajal valikuline, kuid OpenAI soovitab isoleeritud brauserit või virtuaalmasinat niipea, kui agent hakkab suhtlema millegagi peale demolehe.

Mudeli valikul kasutab OpenAI dokumentatsioon oma computer tööriista näidetes mudelit gpt-6.1-sol. Kontrolli mudelikaarti (jaotis Tools), et kinnitada arvutikasutuse olemasolu ja veenduda, et sinu projektil on sellele juurdepääs.

Sõltuvuste installimine

Tööta pühendatud virtuaalses keskkonnas. Arvutikasutuse agent seob kindlaid Playwrighti ja selle brauserite versioone. Nende segamine teiste Pythoni projektidega viib konfliktideni, mida on valus diagnoosida.

# Loo ja aktiveeri keskkond
python -m venv computer-use-env
source computer-use-env/bin/activate  # Linux/Mac
# computer-use-env\Scripts\activate   # Windows

# Installi sõltuvused
pip install openai playwright pillow

# Installi Playwrighti brauser
playwright install chromium

Igal paketil on eristatav roll: openai pakub kliendi, mis suhtleb mudeliga, playwright juhib brauserit ja täidab tegevusi ning pillow tegeleb vajadusel pilditöötlusega. Viimane käsk on see, mida inimesed kõige sagedamini unustavad. Ilma playwright install chromium on pakett küll installitud, kuid brauserit ei laadita alla, mistõttu esimene käivitamine ebaõnnestub.

API-võtme seadistamine

Salvesta oma võti keskkonnamuutujasse, mitte kunagi otse skripti. Koodi kirjutatud saladus jõuab lõpuks alati Git-i hoidlasse.

export OPENAI_API_KEY="your-key"

Tootmiskeskkonnas kasuta saladuste haldurit. Klient loeb muutuja automaatselt:

from openai import OpenAI

client = OpenAI()  # loeb OPENAI_API_KEY

Arvutitööriista deklareerimine

Mudel ei juhi ekraani vaikimisi. Sa pead taotluses lubama computer tööriista ja kirjeldama oodatavat tulemust.

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-6.1-sol",
    tools=[{"type": "computer"}],
    input=(
        "Kontrolli, kas filtrite paneel on avatud. Kui mitte, "
        "klõpsa 'Show Filters', seejärel trüki otsinguväljale penguin. "
        "Kasutajaliidesega suhtlemiseks kasuta arvutitööriista."
    ),
)
print(response.output)

Deklaratsioon on lihtsalt {"type": "computer"}. Erinevalt varasemast eelvaateversioonist (computer_use_preview) ei vaja see ei ekraani mõõtmeid ega keskkonnatüüpi ning automaatne lühendamine pole enam vajalik. Mudeli tagastatud koordinaadid viitavad sinu saadetud ekraanitõmmisele. Tee tõmmis täpselt sellest alast, kuhu plaanid klõpsata, samas skaalas. Kui muudad ekraanitõmmise suurust enne saatmist, teisenda koordinaadid enne tegevuse sooritamist tagasi.

Brauseri konfigureerimine

Playwrighti poolel pakenda käivitamisloogika funktsiooni, mida saad ülesannetes uuesti kasutada.

from playwright.sync_api import sync_playwright

def launch_browser(width=1280, height=720):
    """Käivitab arvutikasutuse jaoks isoleeritud brauseri."""
    pw = sync_playwright().start()
    browser = pw.chromium.launch(headless=True)  # False, et agenti jälgida
    context = browser.new_context(viewport={"width": width, "height": height})
    page = context.new_page()
    return pw, browser, page

page.screenshot() teeb ekraanitõmmise vaateaknast, nii et mudeli koordinaadid kehtivad otse page.mouse jaoks. Valik headless=True käivitab brauseri ilma kasutajaliideseta, mis on serveris hädavajalik. Arenduse ajal sea selle väärtuseks False, et näha, kuidas agent töötab. See on kiireim viis mõista, miks ta vigu teeb.

Projekti organiseerimine

Eralda brauseriloogika, agenti tsükkel ja tegevuste täitmine juba algusest peale.

computer-use-project/
├── .env                  # OPENAI_API_KEY (ära kunagi commidi)
├── requirements.txt      # openai, playwright, pillow
├── src/
│   ├── __init__.py
│   ├── browser.py        # Käivitamine ja jäädvustamine
│   ├── agent.py          # Arvutikasutuse tsükkel
│   └── actions.py        # Tegevuste täitmine
└── tasks/
    └── example.py        # Ülesannete skriptid

Installimise kontrollimine

Ära ehita keerukat töövoogu valideerimata konfiguratsioonile. Kui esimene käivitamine ebaõnnestub, ei tea sa, kas probleem seisneb võtmes, brauseris või sinu vihjes. See minimaalne skript testib kogu ahelat: klient, brauser, jäädvustamine ja pildi edastamine mudelile.

import base64

from openai import OpenAI
from playwright.sync_api import sync_playwright

def test_installation():
    """Kontrollib, et võti, brauser ja pildi üleslaadimine toimivad."""
    client = OpenAI()

    pw = sync_playwright().start()
    browser = pw.chromium.launch(headless=True)
    page = browser.new_page(viewport={"width": 1280, "height": 720})
    page.goto("https://example.com")
    capture = base64.b64encode(page.screenshot()).decode("utf-8")

    response = client.responses.create(
        model="gpt-6.1-sol",
        input=[{
            "role": "user",
            "content": [
                {"type": "input_text", "text": "Kirjelda, mida sa näed."},
                {"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
            ],
        }],
    )
    print("Vastus:", response.output_text)

    browser.close()
    pw.stop()

if __name__ == "__main__":
    test_installation()

Kui konsool kuvab example.com lehe kirjelduse, on sinu konfiguratsioon valmis ja saad asuda täisagenti looma.

Peamised punktid

  • Installi openai, playwright ja pillow pühendatud virtuaalsesse keskkonda ning käivita seejärel playwright install chromium
  • Hoia OPENAI_API_KEY keskkonnamuutujas, mitte kunagi koodis
  • Deklareeri tööriist kasutades tools=[{"type": "computer"}] toetatud mudeliga (OpenAI näidetes kasutatakse gpt-6.1-sol)
  • Mudeli koordinaadid viitavad saadetud ekraanitõmmisele: jäädvusta ala, millega tegutsed, samas skaalas
  • Testi alati minimaalse skriptiga enne keerukate töövoogude loomist