Премини към основното съдържание
Български— Изберете език
Меню

Архитектура: Екранни снимки, действия и цикъл на взаимодействие

Урок 2 от 14 Обновен 3 ноември 2026 г. Програмист
На тази страница
  1. Цикълът възприятие-действие
  2. Началната точка: екранната снимка
  3. Анализ и решение
  4. Репертоар от действия
  5. Пълният поток
  6. Каква е цената на една стъпка от цикъла
  7. Ключови изводи

Урокът е пренаписан на 3 ноември 2026 г. въз основа на ръководството на OpenAI за Computer use и рецептите за интеграция на Computer use: Този курс преди това разчиташе на API на Anthropic (import anthropic, инструмент computer_20241022). Сега той използва инструмента computer от Responses API на OpenAI, като действията са групирани в computer_call, а екранните снимки се връщат чрез computer_call_output. Премахнахме несъответстващите на източници бройки токени и оценки за продължителност от предишната версия. Източници: Computer use · Integration recipes.

Цикълът възприятие-действие

Цялата архитектура на Computer Use се свежда до един единствен цикъл: наблюдавай → реши → действай → наблюдавай. Докато този цикъл не стане ясен за Вас, Вашите автоматизации ще останат нестабилни; щом го осъзнаете, останалото е просто техническа инфраструктура.

Разликата спрямо скрипт на Selenium е в това къде се намира знанието. Selenium сляпо изпълнява предварително определена последователност: кликни тук, после там, после напиши това. Computer Use избира следващата стъпка едва след като види резултата от предишната. Появи се изскачащ прозорец, страницата се зарежда по-бавно или етикетът на бутон се промени overnight: и в трите случая моделът вижда действителната ситуация и се адаптира, докато скриптът продължава да рецитира в празнотата.

С инструмента computer на OpenAI обменът протича в три стъпки: Вие изпращате задачата, изпълнявате действията, върнати от модела, и след това изпращате обратно екранна снимка. Вашето приложение държи мишката и клавиатурата; моделът само взема решенията.

Началната точка: екранната снимка

Всяка стъпка разчита на изображение на текущото състояние на екрана. Тази екранна снимка идва от браузър, контролиран от Playwright – най-честият случай за уеб автоматизация – виртуален работен плот при автоматизиране на десктоп приложение или Docker контейнер, който изолира агента. OpenAI препоръчва използването на изолиран браузър или виртуална машина във всички случаи.

import base64

def capture_screen(page) -> str:
    """Capture the screen with Playwright and return the PNG image as base64."""
    return base64.b64encode(page.screenshot()).decode("utf-8")

Екранната снимка се връща на модела като PNG data URL. Тя се брои като входно изображение, така че влияе върху цената на всяка стъпка: размерът на прозореца, който заснемате, е реален параметър на дизайна.

Анализ и решение

Моделът получава задачата, историята на разговора и последната екранна снимка. Неговият отговор не е изречение, а елемент computer_call, който носи подреден списък с действия за изпълнение. Ето един пример от документацията на OpenAI, който избира поле за търсене и след това въвежда дума:

{
  "type": "computer_call",
  "call_id": "call_002",
  "actions": [
    { "type": "click", "button": "left", "x": 405, "y": 157 },
    { "type": "type", "text": "penguin" }
  ],
  "status": "completed"
}

Два детайла са важни. Първото обаждане може да съдържа само действие screenshot: моделът иска да види екрана, преди да действа, и Вие връщате екранна снимка, без да променяте нищо. Освен това, status: "completed" означава, че моделът е приключил генерирането на обаждането, а не че действията са изпълнени: изпълнението им зависи от Вас.

Репертоар от действия

Речникът, достъпен за модела, е умишлено ограничен; в комбинация тези примитиви покриват повечето неща, които човек прави с мишка и клавиатура.

ДействиеОписаниеПолета
clickКлик на позицияx, y, button (left, right, wheel, back, forward)
double_clickДвоен кликx, y
dragВлачене по пътpath (списък от точки)
moveПреместване на показалецаx, y
scrollПревъртанеx, y, scroll_x, scroll_y
keypressКлавиш или комбинацияkeys (напр. ["CTRL", "A"])
typeВъвеждане на текстtext
waitИзчакване за зареждане на страницата—
screenshotЗаявка за нова екранна снимка—

Пълният поток

Събрани заедно, тези елементи създават следния цикъл, моделиран по документацията на OpenAI. Докато отговорът съдържа computer_call, Вие изпълнявате неговите действия, заснемате екрана и връщате екранната снимка в computer_call_output, което използва същия call_id; previous_response_id свързва всяка стъпка с предишната.

from openai import OpenAI

client = OpenAI()

def computer_use_loop(page, task: str):
    """Computer Use loop with the computer tool from the Responses API."""
    response = client.responses.create(
        model="gpt-6.1-sol",
        tools=[{"type": "computer"}],
        input=task,
    )

    while True:
        call = next(
            (item for item in response.output if item.type == "computer_call"),
            None,
        )
        if call is None:
            return response.output_text  # no more actions requested: task is done

        execute_actions(page, call.actions)  # your action handler (Lesson 4)
        screenshot = capture_screen(page)

        response = client.responses.create(
            model="gpt-6.1-sol",
            tools=[{"type": "computer"}],
            previous_response_id=response.id,
            input=[{
                "type": "computer_call_output",
                "call_id": call.call_id,
                "output": {
                    "type": "computer_screenshot",
                    "image_url": f"data:image/png;base64,{screenshot}",
                    "detail": "original",
                },
            }],
        )

Този цикъл все още няма предпазни механизми: в производствена среда ограничете броя на стъпките, продължителността и разходите; спрете, ако обаждане включва чакащи проверки за сигурност (pending_safety_checks); и проверявайте действителния резултат, вместо да се доверявате само на крайното съобщение на модела. Това са указанията за сигурност на OpenAI, разгледани в Урок 12.

Каква е цената на една стъпка от цикъла

Всяка заявка към Responses API таксува входни и изходни токени, а всяка екранна снимка се брои като входно изображение; хоствана среда може да се фактурира отделно. Следователно цената на една задача зависи от броя на стъпките, размера на екранната снимка и модела – и тя нараства по-бързо от броя на стъпките, защото дори с previous_response_id, всички входни токени от предишни отговори във веригата се таксуват отново като вход при всяка заявка. OpenAI предоставя калкулатор за цената на изображенията и излага използването за всяка заявка: измервайте във Вашите собствени работни потоци, преди да планирате бюджет. Скрипт на Selenium винаги ще прави едно и също нещо по-бързо и по-евтино – но ще трябва да го пренапишете следващия път, когато формата се промени, което агентът не изисква.

Ключови изводи

  • Цикълът задача → действия → екранна снимка е сърцето на Computer Use; Вашето приложение изпълнява действията
  • С OpenAI, декларирайте инструмента с tools=[{"type": "computer"}] в Responses API
  • Едно computer_call носи подреден списък с действия (click, type, scroll, keypress и др.) за последователно изпълнение
  • Екранната снимка се връща на модела в computer_call_output със същия call_id, свързани чрез previous_response_id
  • Всяка стъпка струва токени и едно изображение: ограничете стъпките и измервайте, преди да планирате бюджет