Tietokoneen käytön määrittäminen rajapinnassa
Tällä sivulla
Oppitunti kirjoitettu uudelleen 3. marraskuuta 2026 OpenAI:n Computer use -oppaan ja Computer use integration recipes -dokumentaation perusteella: määritys käyttää nyt
openai-SDK:ta,OPENAI_API_KEY-ympäristömuuttujaa ja{"type": "computer"}-työkalua Responses API:ssa. Se ei enää luota Anthropic SDK:hon eikä vanhentuneeseencomputer_20241022-työkaluun. OpenAI-työkalu ei vaadi näytön mittoja; koordinaatit viittaavat lähettämääsi kuvakaappaukseen. Lähteet: Computer use · Integration recipes.
Edellytykset
Ennen kuin kirjoitat riviäkään koodia, työasemasi tarvitsee neljä asiaa: Python 3:n tuoreen version, OpenAI-tilin, jolla on aktiivinen API-avain ja pääsy malliin, joka tukee computer-työkalua, Chromium-selaimen, jota Playwright ohjaa verkkovuorovaikutuksiin, sekä Dockerin, jos aiot eristää agentin. Docker on valinnainen opiskeluvaiheessa, mutta OpenAI suosittelee eristettyä selainta tai virtuaalikonetta heti, kun agentti vuorovaikuttaa minkään muun kuin demo-sivuston kanssa.
Malliksi OpenAI:n dokumentaatio käyttää gpt-6.1-sol:ia computer-työkalun esimerkeissä. Tarkista mallikortista (kohdasta Tools), että tietokoneen käyttö on listattu ja että projektillasi on siihen pääsy.
Riippuvuuksien asentaminen
Työskentele omistetussa virtuaaliympäristössä. Computer Use -agentti lukitsee Playwrightin ja sen selainten tietyt versiot. Näiden sekoittaminen muihin Python-projekteihisi johtaa konflikteihin, joiden vianetsintä on tuskallista.
# Luo ja aktivoi ympäristö
python -m venv computer-use-env
source computer-use-env/bin/activate # Linux/Mac
# computer-use-env\Scripts\activate # Windows
# Asenna riippuvuudet
pip install openai playwright pillow
# Asenna Playwright-selain
playwright install chromium
Jokaisella paketilla on erillinen rooli: openai tarjoaa mallin kanssa keskustelevan asiakasohjelman, playwright ohjaa selainta ja suorittaa toimintoja, ja pillow hoitaa kuvankäsittelyn tarvittaessa. Viimeinen komento on se, jonka ihmiset useimmiten unohtavat. Ilman playwright install chromium -komentoa paketti asennetaan, mutta selainta ei ladata, mikä aiheuttaa ensimmäisen ajon epäonnistumisen.
API-avaimen asettaminen
Tallenna avaimesi ympäristömuuttujaan, älä koskaan kovakoodattuna skriptiin. Koodiin kirjoitettu salaisuus päätyy ennemmin tai myöhemmin Git-varastoon.
export OPENAI_API_KEY="your-key"
Tuotantoympäristössä käytä salaisuuksien hallintajärjestelmää. Asiakasohjelma lukee muuttujan automaattisesti:
from openai import OpenAI
client = OpenAI() # lukee OPENAI_API_KEY:n
Tietokone-työkalun määrittäminen
Malli ei oletusarvoisesti hallitse näyttöä. Sinun on otettava computer-työkalu käyttöön pyynnössä ja kuvailtava odotettu lopputulos.
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=(
"Tarkista, onko Filters-paneeli auki. Jos ei, "
"napsauta Show Filters, kirjoita sitten penguin hakukenttään. "
"Käytä computer-työkalua vuorovaikutukseen käyttöliittymän kanssa."
),
)
print(response.output)
Määritys on yksinkertaisesti {"type": "computer"}. Toisin kuin varhaisessa esiversiossa (computer_use_preview), se ei vaadi näytön mittoja eikä ympäristötyyppiä, eikä automaattinen typistäminen ole enää tarpeen. Mallin palauttamat koordinaatit viittaavat lähettämääsi kuvakaappaukseen. Kaappaa tarkalleen se alue, jolle aiot napsauttaa, samassa mittakaavassa. Jos muutat kuvakaappauksen kokoa ennen lähetystä, muunna koordinaatit takaisin ennen toiminnon suorittamista.
Selaimen määrittäminen
Playwrightin puolella kääri käynnistyslogiikka funktioon, jota voit käyttää uudelleen eri tehtävissä.
from playwright.sync_api import sync_playwright
def launch_browser(width=1280, height=720):
"""Käynnistää eristetyn selaimen tietokoneen käyttöä varten."""
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True) # False nähdäksesi agentin toiminnan
context = browser.new_context(viewport={"width": width, "height": height})
page = context.new_page()
return pw, browser, page
page.screenshot() kaappaa näkymän, joten mallin koordinaatit pätevät suoraan page.mouse-objektiin. headless=True-valinta ajaa selainta ilman käyttöliittymää, mikä on välttämätöntä palvelimella. Kehitysvaiheessa aseta tämä arvoksi False nähdäksesi agentin työn. Se on nopein tapa ymmärtää, miksi se tekee virheitä.
Projektin organisointi
Erota selaimen logiikka, agenttisilmukka ja toimintojen suoritus alusta alkaen.
computer-use-project/
├── .env # OPENAI_API_KEY (älä koskaan commitoi)
├── requirements.txt # openai, playwright, pillow
├── src/
│ ├── __init__.py
│ ├── browser.py # Käynnistys ja kaappaus
│ ├── agent.py # Computer Use -silmukka
│ └── actions.py # Toimintojen suoritus
└── tasks/
└── example.py # Tehtäväskriptit
Asennuksen varmentaminen
Älä rakenna monimutkaista työnkulkua validoimattoman määrityksen päälle. Jos ensimmäinen ajo epäonnistuu, et tiedä, johtuuko ongelma avaimesta, selaimesta vai kehotteestasi. Tämä minimaalinen skripti testaa koko ketjun: asiakasohjelman, selaimen, kaappauksen ja kuvan lähetyksen mallille.
import base64
from openai import OpenAI
from playwright.sync_api import sync_playwright
def test_installation():
"""Varmistaa, että avain, selain ja kuvan lähetys toimivat."""
client = OpenAI()
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True)
page = browser.new_page(viewport={"width": 1280, "height": 720})
page.goto("https://example.com")
capture = base64.b64encode(page.screenshot()).decode("utf-8")
response = client.responses.create(
model="gpt-6.1-sol",
input=[{
"role": "user",
"content": [
{"type": "input_text", "text": "Kuvaile mitä näet."},
{"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
],
}],
)
print("Vastaus:", response.output_text)
browser.close()
pw.stop()
if __name__ == "__main__":
test_installation()
Jos konsoli näyttää kuvauksen example.com-sivusta, määrityksesi on valmis ja voit edetä täysimittaisen agentin rakentamiseen.
Keskeiset asiat
- Asenna
openai,playwrightjapillowomistettuun virtuaaliympäristöön ja suorita sen jälkeenplaywright install chromium - Pidä
OPENAI_API_KEYympäristömuuttujassa, älä koskaan koodissa - Määritä työkalu käyttämällä
tools=[{"type": "computer"}]tuettua mallia (OpenAI:n esimerkit käyttävätgpt-6.1-sol:ia) - Mallin koordinaatit viittaavat lähetettyyn kuvakaappaukseen: kaappaa toiminta-alue samassa mittakaavassa
- Testaa aina minimaalisella skriptillä ennen monimutkaisten työnkulkujen rakentamista