Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Konfiguriranje uporabe računalnika v API-ju

Lekcija 3 od 14 Posodobljeno 3. november 2026 Razvijalec
Na tej strani
  1. Predpogoji
  2. Nameščanje odvisnosti
  3. Nastavljanje ključa API
  4. Deklariranje orodja za računalnik
  5. Konfiguriranje brskalnika
  6. Organizacija projekta
  7. Preverjanje namestitve
  8. Ključne ugotovitve

Lekcija na novo napisana 3. novembra 2026 na podlagi vodnika Computer use in receptov za integracijo Computer use integration recipes podjetja OpenAI: konfiguracija zdaj uporablja SDK openai, okoljsko spremenljivko OPENAI_API_KEY in orodje {"type": "computer"} v API-ju Responses. Ne zanaša se več na SDK Anthropic ali zastarelo orodje computer_20241022. Orodje OpenAI ne zahteva dimenzij zaslona; koordinate se nanašajo na posnetek zaslona, ki ga priskrbiš. Viri: Computer use · Integration recipes.

Predpogoji

Preden napišeš prvo vrstico kode, tvoja delovna postaja potrebuje štiri stvari: nedavno različico Pythona 3, račun OpenAI z aktivnim ključem API in dostopom do modela, ki podpira orodje computer, brskalnik Chromium, ki ga poganja Playwright za spletne interakcije, in Docker, če nameravaš agenta izolirati. Docker je med učenjem opcijski, vendar OpenAI priporoča izoliran brskalnik ali navidezni stroj, takoj ko agent začne komunicirati s čimer koli drugega kot demo stranjo.

Za model dokumentacija OpenAI v primerih orodja computer uporablja gpt-6.1-sol. Preveri kartico modela (pod Tools), da potrdiš, da je uporaba računalnika navedena in da ima tvoj projekt dostop do nje.

Nameščanje odvisnosti

Delaj v namenskem navideznem okolju. Agent za uporabo računalnika pripne določene različice Playwrighta in njegovih brskalnikov. Mešanje teh z drugimi projekti Python bo povzročilo konflikte, ki jih je boleče diagnosticirati.

# Ustvari in aktiviraj okolje
python -m venv computer-use-env
source computer-use-env/bin/activate  # Linux/Mac
# computer-use-env\Scripts\activate   # Windows

# Namesti odvisnosti
pip install openai playwright pillow

# Namesti brskalnik Playwright
playwright install chromium

Vsak paket ima svojo vlogo: openai zagotavlja odjemalca, ki komunicira z modelom, playwright poganja brskalnik in izvaja dejanja, pillow pa po potrebi upravlja manipulacijo s slikami. Zadnji ukaz je tisti, na katerega ljudje najpogosteje pozabijo. Brez playwright install chromium je paket nameščen, vendar brskalnik ni prenesen, kar povzroči neuspeh ob prvem zagonu.

Nastavljanje ključa API

Svoj ključ shrani v okoljsko spremenljivko, nikoli ga ne vgrajuj neposredno v skripto. Skrivnost, zapisana v kodi, se sčasoma znajde v repozitoriju Git.

export OPENAI_API_KEY="your-key"

V produkcijskem okolju uporabi upravitelja skrivnosti. Odjemalec spremenljivko prebere samodejno:

from openai import OpenAI

client = OpenAI()  # prebere OPENAI_API_KEY

Deklariranje orodja za računalnik

Model privzeto ne nadzira zaslona. V zahtevku moraš omogočiti orodje computer in opisati pričakovani rezultat.

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-6.1-sol",
    tools=[{"type": "computer"}],
    input=(
        "Preveri, ali je plošča Filtri odprta. Če ni, "
        "klikni Prikaži filtre, nato v iskalno "
        "polje vnesi penguin. Za interakcijo z vmesnikom uporabi orodje za računalnik."
    ),
)
print(response.output)

Deklaracija je preprosto {"type": "computer"}. Za razliko od zgodnje predogledne različice (computer_use_preview) ne zahteva niti dimenzij zaslona niti vrste okolja, samodejno obrezovanje pa ni več potrebno. Koordinate, ki jih vrne model, se nanašajo na posnetek zaslona, ki ga pošlješ. Zajemi točno območje, na katerega nameravaš klikniti, v istem merilu. Če posnetek zaslona pred pošiljanjem spremeniš velikost, moraš koordinate pred izvedbo dejanja pretvoriti nazaj.

Konfiguriranje brskalnika

Na strani Playwrighta ovij logiko zagona v funkcijo, ki jo lahko ponovno uporabiš pri različnih opravilih.

from playwright.sync_api import sync_playwright

def launch_browser(width=1280, height=720):
    """Zažene izoliran brskalnik za uporabo računalnika."""
    pw = sync_playwright().start()
    browser = pw.chromium.launch(headless=True)  # False za opazovanje agenta
    context = browser.new_context(viewport={"width": width, "height": height})
    page = context.new_page()
    return pw, browser, page

page.screenshot() zajame vidno polje, zato se koordinate modela neposredno uporabijo za page.mouse. Možnost headless=True zažene brskalnik brez uporabniškega vmesnika, kar je na strežniku nujno. Med razvojem to nastavi na False, da opazuješ delo agenta. To je najhitrejši način, da razumeš, zakaj dela napake.

Organizacija projekta

Logiko brskalnika, zanko agenta in izvajanje dejanj loči že od samega začetka.

computer-use-project/
├── .env                  # OPENAI_API_KEY (nikoli ne potrdi)
├── requirements.txt      # openai, playwright, pillow
├── src/
│   ├── __init__.py
│   ├── browser.py        # Zagon in zajem
│   ├── agent.py          # Zanka za uporabo računalnika
│   └── actions.py        # Izvajanje dejanj
└── tasks/
    └── example.py        # Skripte za opravila

Preverjanje namestitve

Ne gradi kompleksnega delovnega toka na neveljavni konfiguraciji. Če prvi zagon ne uspe, ne boš vedel, ali je težava v ključu, brskalniku ali tvojem pozivu. Ta minimalna skripta preizkusi celoten verigo: odjemalec, brskalnik, zajem in prenos slike modelu.

import base64

from openai import OpenAI
from playwright.sync_api import sync_playwright

def test_installation():
    """Preveri, ali ključ, brskalnik in nalaganje slike delujejo."""
    client = OpenAI()

    pw = sync_playwright().start()
    browser = pw.chromium.launch(headless=True)
    page = browser.new_page(viewport={"width": 1280, "height": 720})
    page.goto("https://example.com")
    capture = base64.b64encode(page.screenshot()).decode("utf-8")

    response = client.responses.create(
        model="gpt-6.1-sol",
        input=[{
            "role": "user",
            "content": [
                {"type": "input_text", "text": "Opiši, kar vidiš."},
                {"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
            ],
        }],
    )
    print("Odgovor:", response.output_text)

    browser.close()
    pw.stop()

if __name__ == "__main__":
    test_installation()

Če konzola prikaže opis strani example.com, je tvoja konfiguracija pripravljena in lahko nadaljuješ z gradnjo polnega agenta.

Ključne ugotovitve

  • Namesti openai, playwright in pillow v namensko navidezno okolje, nato zaženi playwright install chromium
  • Ključ OPENAI_API_KEY hrani v okoljski spremenljivki, nikoli v kodi
  • Orodje deklariraj z tools=[{"type": "computer"}] z uporabo podprtega modela (primeri OpenAI uporabljajo gpt-6.1-sol)
  • Koordinate modela se nanašajo na poslan posnetek zaslona: zajemi območje, na katerem deluješ, v istem merilu
  • Pred gradnjo kompleksnih delovnih tokov vedno testiraj z minimalno skripto