Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Tietokoneen käytön määrittäminen rajapinnassa

Oppitunti 3 / 14 Päivitetty 3. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Edellytykset
  2. Riippuvuuksien asentaminen
  3. API-avaimen asettaminen
  4. Tietokone-työkalun määrittäminen
  5. Selaimen määrittäminen
  6. Projektin organisointi
  7. Asennuksen varmentaminen
  8. Keskeiset asiat

Oppitunti kirjoitettu uudelleen 3. marraskuuta 2026 OpenAI:n Computer use -oppaan ja Computer use integration recipes -dokumentaation perusteella: määritys käyttää nyt openai-SDK:ta, OPENAI_API_KEY-ympäristömuuttujaa ja {"type": "computer"}-työkalua Responses API:ssa. Se ei enää luota Anthropic SDK:hon eikä vanhentuneeseen computer_20241022-työkaluun. OpenAI-työkalu ei vaadi näytön mittoja; koordinaatit viittaavat lähettämääsi kuvakaappaukseen. Lähteet: Computer use · Integration recipes.

Edellytykset

Ennen kuin kirjoitat riviäkään koodia, työasemasi tarvitsee neljä asiaa: Python 3:n tuoreen version, OpenAI-tilin, jolla on aktiivinen API-avain ja pääsy malliin, joka tukee computer-työkalua, Chromium-selaimen, jota Playwright ohjaa verkkovuorovaikutuksiin, sekä Dockerin, jos aiot eristää agentin. Docker on valinnainen opiskeluvaiheessa, mutta OpenAI suosittelee eristettyä selainta tai virtuaalikonetta heti, kun agentti vuorovaikuttaa minkään muun kuin demo-sivuston kanssa.

Malliksi OpenAI:n dokumentaatio käyttää gpt-6.1-sol:ia computer-työkalun esimerkeissä. Tarkista mallikortista (kohdasta Tools), että tietokoneen käyttö on listattu ja että projektillasi on siihen pääsy.

Riippuvuuksien asentaminen

Työskentele omistetussa virtuaaliympäristössä. Computer Use -agentti lukitsee Playwrightin ja sen selainten tietyt versiot. Näiden sekoittaminen muihin Python-projekteihisi johtaa konflikteihin, joiden vianetsintä on tuskallista.

# Luo ja aktivoi ympäristö
python -m venv computer-use-env
source computer-use-env/bin/activate  # Linux/Mac
# computer-use-env\Scripts\activate   # Windows

# Asenna riippuvuudet
pip install openai playwright pillow

# Asenna Playwright-selain
playwright install chromium

Jokaisella paketilla on erillinen rooli: openai tarjoaa mallin kanssa keskustelevan asiakasohjelman, playwright ohjaa selainta ja suorittaa toimintoja, ja pillow hoitaa kuvankäsittelyn tarvittaessa. Viimeinen komento on se, jonka ihmiset useimmiten unohtavat. Ilman playwright install chromium -komentoa paketti asennetaan, mutta selainta ei ladata, mikä aiheuttaa ensimmäisen ajon epäonnistumisen.

API-avaimen asettaminen

Tallenna avaimesi ympäristömuuttujaan, älä koskaan kovakoodattuna skriptiin. Koodiin kirjoitettu salaisuus päätyy ennemmin tai myöhemmin Git-varastoon.

export OPENAI_API_KEY="your-key"

Tuotantoympäristössä käytä salaisuuksien hallintajärjestelmää. Asiakasohjelma lukee muuttujan automaattisesti:

from openai import OpenAI

client = OpenAI()  # lukee OPENAI_API_KEY:n

Tietokone-työkalun määrittäminen

Malli ei oletusarvoisesti hallitse näyttöä. Sinun on otettava computer-työkalu käyttöön pyynnössä ja kuvailtava odotettu lopputulos.

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-6.1-sol",
    tools=[{"type": "computer"}],
    input=(
        "Tarkista, onko Filters-paneeli auki. Jos ei, "
        "napsauta Show Filters, kirjoita sitten penguin hakukenttään. "
        "Käytä computer-työkalua vuorovaikutukseen käyttöliittymän kanssa."
    ),
)
print(response.output)

Määritys on yksinkertaisesti {"type": "computer"}. Toisin kuin varhaisessa esiversiossa (computer_use_preview), se ei vaadi näytön mittoja eikä ympäristötyyppiä, eikä automaattinen typistäminen ole enää tarpeen. Mallin palauttamat koordinaatit viittaavat lähettämääsi kuvakaappaukseen. Kaappaa tarkalleen se alue, jolle aiot napsauttaa, samassa mittakaavassa. Jos muutat kuvakaappauksen kokoa ennen lähetystä, muunna koordinaatit takaisin ennen toiminnon suorittamista.

Selaimen määrittäminen

Playwrightin puolella kääri käynnistyslogiikka funktioon, jota voit käyttää uudelleen eri tehtävissä.

from playwright.sync_api import sync_playwright

def launch_browser(width=1280, height=720):
    """Käynnistää eristetyn selaimen tietokoneen käyttöä varten."""
    pw = sync_playwright().start()
    browser = pw.chromium.launch(headless=True)  # False nähdäksesi agentin toiminnan
    context = browser.new_context(viewport={"width": width, "height": height})
    page = context.new_page()
    return pw, browser, page

page.screenshot() kaappaa näkymän, joten mallin koordinaatit pätevät suoraan page.mouse-objektiin. headless=True-valinta ajaa selainta ilman käyttöliittymää, mikä on välttämätöntä palvelimella. Kehitysvaiheessa aseta tämä arvoksi False nähdäksesi agentin työn. Se on nopein tapa ymmärtää, miksi se tekee virheitä.

Projektin organisointi

Erota selaimen logiikka, agenttisilmukka ja toimintojen suoritus alusta alkaen.

computer-use-project/
├── .env                  # OPENAI_API_KEY (älä koskaan commitoi)
├── requirements.txt      # openai, playwright, pillow
├── src/
│   ├── __init__.py
│   ├── browser.py        # Käynnistys ja kaappaus
│   ├── agent.py          # Computer Use -silmukka
│   └── actions.py        # Toimintojen suoritus
└── tasks/
    └── example.py        # Tehtäväskriptit

Asennuksen varmentaminen

Älä rakenna monimutkaista työnkulkua validoimattoman määrityksen päälle. Jos ensimmäinen ajo epäonnistuu, et tiedä, johtuuko ongelma avaimesta, selaimesta vai kehotteestasi. Tämä minimaalinen skripti testaa koko ketjun: asiakasohjelman, selaimen, kaappauksen ja kuvan lähetyksen mallille.

import base64

from openai import OpenAI
from playwright.sync_api import sync_playwright

def test_installation():
    """Varmistaa, että avain, selain ja kuvan lähetys toimivat."""
    client = OpenAI()

    pw = sync_playwright().start()
    browser = pw.chromium.launch(headless=True)
    page = browser.new_page(viewport={"width": 1280, "height": 720})
    page.goto("https://example.com")
    capture = base64.b64encode(page.screenshot()).decode("utf-8")

    response = client.responses.create(
        model="gpt-6.1-sol",
        input=[{
            "role": "user",
            "content": [
                {"type": "input_text", "text": "Kuvaile mitä näet."},
                {"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
            ],
        }],
    )
    print("Vastaus:", response.output_text)

    browser.close()
    pw.stop()

if __name__ == "__main__":
    test_installation()

Jos konsoli näyttää kuvauksen example.com-sivusta, määrityksesi on valmis ja voit edetä täysimittaisen agentin rakentamiseen.

Keskeiset asiat

  • Asenna openai, playwright ja pillow omistettuun virtuaaliympäristöön ja suorita sen jälkeen playwright install chromium
  • Pidä OPENAI_API_KEY ympäristömuuttujassa, älä koskaan koodissa
  • Määritä työkalu käyttämällä tools=[{"type": "computer"}] tuettua mallia (OpenAI:n esimerkit käyttävät gpt-6.1-sol:ia)
  • Mallin koordinaatit viittaavat lähetettyyn kuvakaappaukseen: kaappaa toiminta-alue samassa mittakaavassa
  • Testaa aina minimaalisella skriptillä ennen monimutkaisten työnkulkujen rakentamista