Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

Configuratie van Computer Use in de API

Les 3 van 14 Bijgewerkt op 3 november 2026 Ontwikkelaar
Op deze pagina
  1. Vereisten
  2. Afhankelijkheden installeren
  3. De API-sleutel instellen
  4. De computer-tool declareren
  5. De browser configureren
  6. Het project organiseren
  7. De installatie verifiëren
  8. Belangrijkste punten

Les herschreven op 3 november 2026 op basis van de gids Computer use van OpenAI en de Computer use integration recipes: de configuratie maakt nu gebruik van de openai SDK, de omgevingsvariabele OPENAI_API_KEY en de tool {"type": "computer"} in de Responses API. Er wordt niet langer vertrouwd op de Anthropic SDK of de verouderde tool computer_20241022. De OpenAI-tool vereist geen schermafmetingen; coördinaten verwijzen naar de screenshot die u verstrekt. Bronnen: Computer use · Integration recipes.

Vereisten

Voordat u ook maar één regel code schrijft, heeft uw werkstation vier dingen nodig: een recente versie van Python 3, een OpenAI-account met een actieve API-sleutel en toegang tot een model dat de computer-tool ondersteunt, een Chromium-browser aangestuurd door Playwright voor webinteracties, en Docker als u de agent wilt isoleren. Docker is optioneel terwijl u leert, maar OpenAI raadt een geïsoleerde browser of virtuele machine aan zodra de agent interactie aangaat met iets anders dan een demosite.

Voor het model gebruikt de documentatie van OpenAI gpt-6.1-sol in zijn voorbeelden voor de computer-tool. Controleer de modelkaart (onder Tools) om te bevestigen dat computergebruik wordt vermeld en dat uw project toegang heeft.

Afhankelijkheden installeren

Werk in een toegewijde virtuele omgeving. Een Computer Use-agent pind specifieke versies van Playwright en zijn browsers. Het mengen hiervan met uw andere Python-projecten leidt tot conflicten die pijnlijk zijn om te diagnosticeren.

# Maak de omgeving aan en activeer deze
python -m venv computer-use-env
source computer-use-env/bin/activate  # Linux/Mac
# computer-use-env\Scripts\activate   # Windows

# Installeer afhankelijkheden
pip install openai playwright pillow

# Installeer de Playwright-browser
playwright install chromium

Elk pakket speelt een onderscheidende rol: openai biedt de client die met het model communiceert, playwright bestuurt de browser en voert acties uit, en pillow verzorgt beeldmanipulatie wanneer nodig. Het laatste commando is degene die mensen het vaakst vergeten. Zonder playwright install chromium is het pakket wel geïnstalleerd maar is er geen browser gedownload, waardoor de eerste uitvoering mislukt.

De API-sleutel instellen

Bewaar uw sleutel in een omgevingsvariabele, nooit hard-gecodeerd in een script. Een geheim dat in code staat, belandt uiteindelijk in een Git-repository.

export OPENAI_API_KEY="your-key"

Gebruik in productie een secrets manager. De client leest de variabele automatisch:

from openai import OpenAI

client = OpenAI()  # leest OPENAI_API_KEY

De computer-tool declareren

Een model bestuurt standaard geen scherm. U moet de computer-tool inschakelen in het verzoek en het verwachte resultaat beschrijven.

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-6.1-sol",
    tools=[{"type": "computer"}],
    input=(
        "Controleer of het paneel Filters geopend is. Zo niet, "
        "klik dan op Show Filters en typ vervolgens penguin in het zoekveld. "
        "Gebruik de computer-tool om met de interface te interageren."
    ),
)
print(response.output)

De declaratie is simpelweg {"type": "computer"}. In tegenstelling tot de vroege preview-versie (computer_use_preview) zijn er geen schermafmetingen of een omgevingstype vereist, en is automatische inkorting niet langer nodig. De coördinaten die het model retourneert, verwijzen naar de screenshot die u verzendt. Leg precies het gebied vast waarop u wilt klikken, op dezelfde schaal. Als u een screenshot verkleint of vergroot voordat u deze verzendt, moet u de coördinaten terug converteren voordat u actie onderneemt.

De browser configureren

Aan de kant van Playwright kapselt u de startlogica in een functie die u voor verschillende taken kunt hergebruiken.

from playwright.sync_api import sync_playwright

def launch_browser(width=1280, height=720):
    """Start een geïsoleerde browser voor Computer Use."""
    pw = sync_playwright().start()
    browser = pw.chromium.launch(headless=True)  # False om de agent te bekijken
    context = browser.new_context(viewport={"width": width, "height": height})
    page = context.new_page()
    return pw, browser, page

page.screenshot() legt de viewport vast, zodat de coördinaten van het model direct van toepassing zijn op page.mouse. De optie headless=True draait de browser zonder gebruikersinterface, wat essentieel is op een server. Stel tijdens de ontwikkeling deze waarde in op False om de agent aan het werk te zien. Het is de snelste manier om te begrijpen waarom hij fouten maakt.

Het project organiseren

Scheid de browserlogica, de agent-lus en de uitvoering van acties vanaf het begin.

computer-use-project/
├── .env                  # OPENAI_API_KEY (nooit committen)
├── requirements.txt      # openai, playwright, pillow
├── src/
│   ├── __init__.py
│   ├── browser.py        # Starten en vastleggen
│   ├── agent.py          # Computer Use-lus
│   └── actions.py        # Uitvoering van acties
└── tasks/
    └── example.py        # Taakscripts

De installatie verifiëren

Bouw geen complexe workflow op een niet-gevalideerde configuratie. Als de eerste uitvoering mislukt, weet u niet of het probleem bij de sleutel, de browser of uw prompt ligt. Dit minimale script test de volledige keten: client, browser, vastleggen en beeldoverdracht naar het model.

import base64

from openai import OpenAI
from playwright.sync_api import sync_playwright

def test_installation():
    """Verifieert dat de sleutel, browser en beeldupload werken."""
    client = OpenAI()

    pw = sync_playwright().start()
    browser = pw.chromium.launch(headless=True)
    page = browser.new_page(viewport={"width": 1280, "height": 720})
    page.goto("https://example.com")
    capture = base64.b64encode(page.screenshot()).decode("utf-8")

    response = client.responses.create(
        model="gpt-6.1-sol",
        input=[{
            "role": "user",
            "content": [
                {"type": "input_text", "text": "Beschrijf wat u ziet."},
                {"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
            ],
        }],
    )
    print("Antwoord:", response.output_text)

    browser.close()
    pw.stop()

if __name__ == "__main__":
    test_installation()

Als de console een beschrijving van de example.com-pagina weergeeft, is uw configuratie gereed en kunt u doorgaan met het bouwen van een volledige agent.

Belangrijkste punten

  • Installeer openai, playwright en pillow in een toegewijde virtuele omgeving en voer vervolgens playwright install chromium uit
  • Bewaar de OPENAI_API_KEY in een omgevingsvariabele, nooit in code
  • Declareer de tool met tools=[{"type": "computer"}] met behulp van een ondersteund model (OpenAI-voorbeelden gebruiken gpt-6.1-sol)
  • Modelcoördinaten verwijzen naar de verzonden screenshot: leg het gebied waarop u handelt vast op dezelfde schaal
  • Test altijd met een minimaal script voordat u complexe workflows bouwt