API arvutikasutuse konfigureerimine
Sellel lehel
Õppetund kirjutati ümber 3. novembril 2026, tuginedes OpenAI Computer use juhendile ja Computer use integration recipes: konfigureerimine kasutab nüüd
openaiSDK-d, keskkonnamuutujatOPENAI_API_KEYja tööriista{"type": "computer"}vastuste API-s (Responses API). See ei sõltu enam Anthropic SDK-st ega iganenud tööriistastcomputer_20241022. OpenAI tööriist ei vaja ekraani mõõtmeid; koordinaadid viitavad sinu saadetud ekraanitõmmisele. Allikad: Computer use · Integration recipes.
Eeldused
Enne esimese koodirea kirjutamist vajab sinu tööjaam nelja asja: Python 3 värsket versiooni, OpenAI kontot aktiivse API-võtmega ja juurdepääsuga mudelile, mis toetab computer tööriista, Chromiumi brauserit, mida juhib Playwright veebitegevuste jaoks, ning Dockerit, kui plaanid agenti isoleerida. Docker on õppimise ajal valikuline, kuid OpenAI soovitab isoleeritud brauserit või virtuaalmasinat niipea, kui agent hakkab suhtlema millegagi peale demolehe.
Mudeli valikul kasutab OpenAI dokumentatsioon oma computer tööriista näidetes mudelit gpt-6.1-sol. Kontrolli mudelikaarti (jaotis Tools), et kinnitada arvutikasutuse olemasolu ja veenduda, et sinu projektil on sellele juurdepääs.
Sõltuvuste installimine
Tööta pühendatud virtuaalses keskkonnas. Arvutikasutuse agent seob kindlaid Playwrighti ja selle brauserite versioone. Nende segamine teiste Pythoni projektidega viib konfliktideni, mida on valus diagnoosida.
# Loo ja aktiveeri keskkond
python -m venv computer-use-env
source computer-use-env/bin/activate # Linux/Mac
# computer-use-env\Scripts\activate # Windows
# Installi sõltuvused
pip install openai playwright pillow
# Installi Playwrighti brauser
playwright install chromium
Igal paketil on eristatav roll: openai pakub kliendi, mis suhtleb mudeliga, playwright juhib brauserit ja täidab tegevusi ning pillow tegeleb vajadusel pilditöötlusega. Viimane käsk on see, mida inimesed kõige sagedamini unustavad. Ilma playwright install chromium on pakett küll installitud, kuid brauserit ei laadita alla, mistõttu esimene käivitamine ebaõnnestub.
API-võtme seadistamine
Salvesta oma võti keskkonnamuutujasse, mitte kunagi otse skripti. Koodi kirjutatud saladus jõuab lõpuks alati Git-i hoidlasse.
export OPENAI_API_KEY="your-key"
Tootmiskeskkonnas kasuta saladuste haldurit. Klient loeb muutuja automaatselt:
from openai import OpenAI
client = OpenAI() # loeb OPENAI_API_KEY
Arvutitööriista deklareerimine
Mudel ei juhi ekraani vaikimisi. Sa pead taotluses lubama computer tööriista ja kirjeldama oodatavat tulemust.
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=(
"Kontrolli, kas filtrite paneel on avatud. Kui mitte, "
"klõpsa 'Show Filters', seejärel trüki otsinguväljale penguin. "
"Kasutajaliidesega suhtlemiseks kasuta arvutitööriista."
),
)
print(response.output)
Deklaratsioon on lihtsalt {"type": "computer"}. Erinevalt varasemast eelvaateversioonist (computer_use_preview) ei vaja see ei ekraani mõõtmeid ega keskkonnatüüpi ning automaatne lühendamine pole enam vajalik. Mudeli tagastatud koordinaadid viitavad sinu saadetud ekraanitõmmisele. Tee tõmmis täpselt sellest alast, kuhu plaanid klõpsata, samas skaalas. Kui muudad ekraanitõmmise suurust enne saatmist, teisenda koordinaadid enne tegevuse sooritamist tagasi.
Brauseri konfigureerimine
Playwrighti poolel pakenda käivitamisloogika funktsiooni, mida saad ülesannetes uuesti kasutada.
from playwright.sync_api import sync_playwright
def launch_browser(width=1280, height=720):
"""Käivitab arvutikasutuse jaoks isoleeritud brauseri."""
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True) # False, et agenti jälgida
context = browser.new_context(viewport={"width": width, "height": height})
page = context.new_page()
return pw, browser, page
page.screenshot() teeb ekraanitõmmise vaateaknast, nii et mudeli koordinaadid kehtivad otse page.mouse jaoks. Valik headless=True käivitab brauseri ilma kasutajaliideseta, mis on serveris hädavajalik. Arenduse ajal sea selle väärtuseks False, et näha, kuidas agent töötab. See on kiireim viis mõista, miks ta vigu teeb.
Projekti organiseerimine
Eralda brauseriloogika, agenti tsükkel ja tegevuste täitmine juba algusest peale.
computer-use-project/
├── .env # OPENAI_API_KEY (ära kunagi commidi)
├── requirements.txt # openai, playwright, pillow
├── src/
│ ├── __init__.py
│ ├── browser.py # Käivitamine ja jäädvustamine
│ ├── agent.py # Arvutikasutuse tsükkel
│ └── actions.py # Tegevuste täitmine
└── tasks/
└── example.py # Ülesannete skriptid
Installimise kontrollimine
Ära ehita keerukat töövoogu valideerimata konfiguratsioonile. Kui esimene käivitamine ebaõnnestub, ei tea sa, kas probleem seisneb võtmes, brauseris või sinu vihjes. See minimaalne skript testib kogu ahelat: klient, brauser, jäädvustamine ja pildi edastamine mudelile.
import base64
from openai import OpenAI
from playwright.sync_api import sync_playwright
def test_installation():
"""Kontrollib, et võti, brauser ja pildi üleslaadimine toimivad."""
client = OpenAI()
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True)
page = browser.new_page(viewport={"width": 1280, "height": 720})
page.goto("https://example.com")
capture = base64.b64encode(page.screenshot()).decode("utf-8")
response = client.responses.create(
model="gpt-6.1-sol",
input=[{
"role": "user",
"content": [
{"type": "input_text", "text": "Kirjelda, mida sa näed."},
{"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
],
}],
)
print("Vastus:", response.output_text)
browser.close()
pw.stop()
if __name__ == "__main__":
test_installation()
Kui konsool kuvab example.com lehe kirjelduse, on sinu konfiguratsioon valmis ja saad asuda täisagenti looma.
Peamised punktid
- Installi
openai,playwrightjapillowpühendatud virtuaalsesse keskkonda ning käivita seejärelplaywright install chromium - Hoia
OPENAI_API_KEYkeskkonnamuutujas, mitte kunagi koodis - Deklareeri tööriist kasutades
tools=[{"type": "computer"}]toetatud mudeliga (OpenAI näidetes kasutataksegpt-6.1-sol) - Mudeli koordinaadid viitavad saadetud ekraanitõmmisele: jäädvusta ala, millega tegutsed, samas skaalas
- Testi alati minimaalse skriptiga enne keerukate töövoogude loomist