Konfiguriranje uporabe računalnika v API-ju
Na tej strani
Lekcija na novo napisana 3. novembra 2026 na podlagi vodnika Computer use in receptov za integracijo Computer use integration recipes podjetja OpenAI: konfiguracija zdaj uporablja SDK
openai, okoljsko spremenljivkoOPENAI_API_KEYin orodje{"type": "computer"}v API-ju Responses. Ne zanaša se več na SDK Anthropic ali zastarelo orodjecomputer_20241022. Orodje OpenAI ne zahteva dimenzij zaslona; koordinate se nanašajo na posnetek zaslona, ki ga priskrbiš. Viri: Computer use · Integration recipes.
Predpogoji
Preden napišeš prvo vrstico kode, tvoja delovna postaja potrebuje štiri stvari: nedavno različico Pythona 3, račun OpenAI z aktivnim ključem API in dostopom do modela, ki podpira orodje computer, brskalnik Chromium, ki ga poganja Playwright za spletne interakcije, in Docker, če nameravaš agenta izolirati. Docker je med učenjem opcijski, vendar OpenAI priporoča izoliran brskalnik ali navidezni stroj, takoj ko agent začne komunicirati s čimer koli drugega kot demo stranjo.
Za model dokumentacija OpenAI v primerih orodja computer uporablja gpt-6.1-sol. Preveri kartico modela (pod Tools), da potrdiš, da je uporaba računalnika navedena in da ima tvoj projekt dostop do nje.
Nameščanje odvisnosti
Delaj v namenskem navideznem okolju. Agent za uporabo računalnika pripne določene različice Playwrighta in njegovih brskalnikov. Mešanje teh z drugimi projekti Python bo povzročilo konflikte, ki jih je boleče diagnosticirati.
# Ustvari in aktiviraj okolje
python -m venv computer-use-env
source computer-use-env/bin/activate # Linux/Mac
# computer-use-env\Scripts\activate # Windows
# Namesti odvisnosti
pip install openai playwright pillow
# Namesti brskalnik Playwright
playwright install chromium
Vsak paket ima svojo vlogo: openai zagotavlja odjemalca, ki komunicira z modelom, playwright poganja brskalnik in izvaja dejanja, pillow pa po potrebi upravlja manipulacijo s slikami. Zadnji ukaz je tisti, na katerega ljudje najpogosteje pozabijo. Brez playwright install chromium je paket nameščen, vendar brskalnik ni prenesen, kar povzroči neuspeh ob prvem zagonu.
Nastavljanje ključa API
Svoj ključ shrani v okoljsko spremenljivko, nikoli ga ne vgrajuj neposredno v skripto. Skrivnost, zapisana v kodi, se sčasoma znajde v repozitoriju Git.
export OPENAI_API_KEY="your-key"
V produkcijskem okolju uporabi upravitelja skrivnosti. Odjemalec spremenljivko prebere samodejno:
from openai import OpenAI
client = OpenAI() # prebere OPENAI_API_KEY
Deklariranje orodja za računalnik
Model privzeto ne nadzira zaslona. V zahtevku moraš omogočiti orodje computer in opisati pričakovani rezultat.
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=(
"Preveri, ali je plošča Filtri odprta. Če ni, "
"klikni Prikaži filtre, nato v iskalno "
"polje vnesi penguin. Za interakcijo z vmesnikom uporabi orodje za računalnik."
),
)
print(response.output)
Deklaracija je preprosto {"type": "computer"}. Za razliko od zgodnje predogledne različice (computer_use_preview) ne zahteva niti dimenzij zaslona niti vrste okolja, samodejno obrezovanje pa ni več potrebno. Koordinate, ki jih vrne model, se nanašajo na posnetek zaslona, ki ga pošlješ. Zajemi točno območje, na katerega nameravaš klikniti, v istem merilu. Če posnetek zaslona pred pošiljanjem spremeniš velikost, moraš koordinate pred izvedbo dejanja pretvoriti nazaj.
Konfiguriranje brskalnika
Na strani Playwrighta ovij logiko zagona v funkcijo, ki jo lahko ponovno uporabiš pri različnih opravilih.
from playwright.sync_api import sync_playwright
def launch_browser(width=1280, height=720):
"""Zažene izoliran brskalnik za uporabo računalnika."""
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True) # False za opazovanje agenta
context = browser.new_context(viewport={"width": width, "height": height})
page = context.new_page()
return pw, browser, page
page.screenshot() zajame vidno polje, zato se koordinate modela neposredno uporabijo za page.mouse. Možnost headless=True zažene brskalnik brez uporabniškega vmesnika, kar je na strežniku nujno. Med razvojem to nastavi na False, da opazuješ delo agenta. To je najhitrejši način, da razumeš, zakaj dela napake.
Organizacija projekta
Logiko brskalnika, zanko agenta in izvajanje dejanj loči že od samega začetka.
computer-use-project/
├── .env # OPENAI_API_KEY (nikoli ne potrdi)
├── requirements.txt # openai, playwright, pillow
├── src/
│ ├── __init__.py
│ ├── browser.py # Zagon in zajem
│ ├── agent.py # Zanka za uporabo računalnika
│ └── actions.py # Izvajanje dejanj
└── tasks/
└── example.py # Skripte za opravila
Preverjanje namestitve
Ne gradi kompleksnega delovnega toka na neveljavni konfiguraciji. Če prvi zagon ne uspe, ne boš vedel, ali je težava v ključu, brskalniku ali tvojem pozivu. Ta minimalna skripta preizkusi celoten verigo: odjemalec, brskalnik, zajem in prenos slike modelu.
import base64
from openai import OpenAI
from playwright.sync_api import sync_playwright
def test_installation():
"""Preveri, ali ključ, brskalnik in nalaganje slike delujejo."""
client = OpenAI()
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True)
page = browser.new_page(viewport={"width": 1280, "height": 720})
page.goto("https://example.com")
capture = base64.b64encode(page.screenshot()).decode("utf-8")
response = client.responses.create(
model="gpt-6.1-sol",
input=[{
"role": "user",
"content": [
{"type": "input_text", "text": "Opiši, kar vidiš."},
{"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
],
}],
)
print("Odgovor:", response.output_text)
browser.close()
pw.stop()
if __name__ == "__main__":
test_installation()
Če konzola prikaže opis strani example.com, je tvoja konfiguracija pripravljena in lahko nadaljuješ z gradnjo polnega agenta.
Ključne ugotovitve
- Namesti
openai,playwrightinpillowv namensko navidezno okolje, nato zaženiplaywright install chromium - Ključ
OPENAI_API_KEYhrani v okoljski spremenljivki, nikoli v kodi - Orodje deklariraj z
tools=[{"type": "computer"}]z uporabo podprtega modela (primeri OpenAI uporabljajogpt-6.1-sol) - Koordinate modela se nanašajo na poslan posnetek zaslona: zajemi območje, na katerem deluješ, v istem merilu
- Pred gradnjo kompleksnih delovnih tokov vedno testiraj z minimalno skripto