Tietojen poiminta verkkosivuilta
Tällä sivulla
Oppitunti päivitetty 3. marraskuuta 2026 OpenAI:n Computer Use -oppaan perusteella: tehtävä päättyy, kun vastaus ei enää sisällä
computer_call-kutsua, ei Anthropicin aiemmassa versiossa käytetynstop_reason-arvon perusteella. DOM-poimintaskriptissä oli lainausmerkitsemättömiä valitsimia, mikä aiheutti JavaScript-virheen; tämä on nyt korjattu. Lähdeviitteettömät luvut (tokeneita kuvakaappauksia kohden, kestoa sivua kohden) on korvattu OpenAI:n dokumentoimilla kustannustekijöillä. Lähteet: Computer Use · Image Cost Calculator.
Näköön perustuva tiedonkeruu
Klassinen poimin lukee HTML-koodia: se käy läpi DOM-puuta, seuraa tagien hierarkiaa ja epäonnistuu heti, kun sivusto siirtyy asiakaspuolen renderöintiin tai nimeää luokkansa uudelleen. Computer Use toimii eri tavalla: agentti lukee näyttöä aivan kuten ihminen tekisi ja palauttaa ymmärtämänsä tiedon pyytämässäsi muodossa. Käytännön vaikutus on merkittävä: sivustot, jotka olivat aiemmin poimijoille saavuttamattomia, muuttuvat käytettäviksi, sillä agentti näkee täsmälleen sen, mitä käyttäjäkin näkee.
Lue ja raportoi
Yksinkertaisin tapaus on pyytää näkyvän sisällön lukemista ja jäsenneltyä palautusta. Ratkaisevaa on määrittää tulosteen muoto kehotteessa: ilman ohjeita malli vastaa vapaalla tekstillä, mikä pakottaa sinut jäsentämään epämääräistä tekstiä ja tuhoaa koko operaation hyödyn.
task = """
Go to https://news.example.com and extract the first 5 article
headlines visible on the homepage.
Return the result in JSON format:
[
{"rank": 1, "title": "..."},
{"rank": 2, "title": "..."},
...
]
"""
Agentti näkee kuvakaappauksen, tunnistaa otsikot ja palauttaa JSON-muodon viimeisessä tekstivastauksessaan – siinä, joka saapuu, kun vastaus ei enää sisällä computer_call-kutsua. Luet tämän arvosta response.output_text.
Sisällön poiminta näytön ulkopuolelta
720 pikselin korkuinen näyttöruutu näyttää vain murto-osan tulos sivusta. Sinun on siksi kuvailtava paitsi mitä kerätään, myös miten sivulla navigoidaan ja milloin lopetetaan. Muuten agentti vierittää sivua, kunnes iteraatiosi loppuvat kesken, ja palauttaa typistyneet tiedot.
task = """
On this search results page:
1. Read all visible results and note them
2. Scroll down to see more results
3. Continue until you have collected 20 results or reached
the bottom of the page
For each result, extract:
- Title
- URL
- Short description
Return everything in JSON.
"""
Taulukot ovat otollisin maasto, sillä malli hahmottaa visuaaliset taulukkorakenteet välittömästi: se yhdistää solun sarakkeeseen pelkän sijainnin perusteella, kun taas DOM-poimin joutuu laskemaan <td>-elementtejä ja eksyy heti, jos solu on yhdistetty. Kuvaile odotetut sarakkeet, niin malli täyttää rivit.
task = """
Open https://stats.example.com/prices and extract the price table
displayed on the page.
The table has columns: Product, Price ex-VAT, VAT, Price inc-VAT.
Extract all rows and return in JSON:
{
"headers": ["Product", "Price ex-VAT", "VAT", "Price inc-VAT"],
"rows": [
["Widget A", "10.00", "20%", "12.00"],
...
]
}
"""
Hybridi lähestymistapa: Navigoi näön avulla, poimi DOMista
Herkkien tietojen – kuten summien tai tuoteviitteiden – kohdalla visuaalinen lukeminen jää likimääräiseksi. Vankin yhdistelmä jakaa roolit kunkin työkalun vahvuuksien mukaan: agentti hoitaa sen osuuden, jota on vaikea skriptata, eli oikealle sivulle pääsyn hakujen, suodattimien ja suostumusikkunoiden kautta; Playwright ottaa sitten vastuun siellä, missä tarkkuus on tärkeintä, lukemalla arvot suoraan DOMista.
def extract_with_dom(page, task_description: str):
"""Use Computer Use to navigate, Playwright to extract."""
# Phase 1: Computer Use navigates and identifies the area
run_agent(task_description, page=page)
# Phase 2: Playwright extracts precise data
data = page.evaluate("""
() => {
const rows = document.querySelectorAll('table tbody tr');
return Array.from(rows).map(row => {
const cells = row.querySelectorAll('td');
return Array.from(cells).map(c => c.textContent.trim());
});
}
""")
return data
Epästandardit rakenteet
Tuotekortit, profiilit ja listaukset: nämä asettelut eivät noudata säännöllisiä malleja, ja juuri tässä näkökyky ottaa ohjat. Kehotteen on tällöin nimettävä jokainen odotettu kenttä, määritettävä sen tyyppi ja annettava täydellinen esimerkki tulosteesta. Muuten saatat saada yhdessä tietueessa arvon “250 000,00 €” ja seuraavassa 250000, jolloin jatkokäsittely kaatuu jo ensimmäisellä rivillä.
task = """
On this real estate results page, extract for each listing:
- price (number, in euros)
- area (in m²)
- rooms (integer)
- city
- postal_code
- listing_url
Scroll to load more listings if necessary.
Stop when you have 10 listings or when there are no more.
Strict JSON output format:
{
"listings": [
{
"price": 250000,
"area": 65,
"rooms": 3,
"city": "Paris",
"postal_code": "75011",
"listing_url": "https://..."
}
]
}
"""
Säilytä poiminnan jäljitettävyys
Poiminta ilman metatietoja muuttuu käyttökelvottomaksi kolmessa viikossa: et enää tiedä, mistä luvut ovat peräisin tai milloin ne on päivätty, jolloin vertailu seuraavaan keruuseen on merkityksetöntä. Tallenna lähde ja aikaleima systemaattisesti tietojen yhteyteen.
import json
from datetime import datetime, timezone
def save_extraction(data: dict, source_url: str):
"""Save extracted data with metadata."""
now = datetime.now(timezone.utc)
output = {
"source": source_url,
"extracted_at": now.isoformat(),
"data": data,
}
filename = f"extraction_{now:%Y%m%d_%H%M%S}.json"
with open(filename, "w", encoding="utf-8") as f:
json.dump(output, f, ensure_ascii=False, indent=2)
print(f"Data saved to {filename}")
Mitä näkökyky ei tarjoa
Numeerinen tarkkuus on ensimmäinen rajoitus. Mallin implisiittinen OCR voi sekoittaa samannäköisiä merkkejä – kuten 0 ja O tai 1 ja l – mikä on merkityksetöntä artikkelin otsikolle, mutta hyväksymätöntä IBAN-numerolle tai tilausviitteelle: tarkista aina kriittiset tiedot tai käytä DOM-poimintaa näille kentille.
Seuraavaksi tulee kustannus. Jokainen kuvakaappaus lasketaan kuvasyötteeksi, jonka hinta riippuu sen koosta ja mallista – OpenAI tarjoaa laskurin tämän arvioimiseen – ja vieritystä sisältävä poiminta ketjuttaa useita vuorovaikutuksia yhteen. Koska koko ketjun historia laskutetaan syötteenä jokaisella pyynnöllä, pitkän keruun kustannukset kasvavat nopeammin kuin kuvakaappausten määrä. Siksi mikä tahansa suuri, päivittäin kerättävä aineisto vaatii mittauksen muutamalla todellisella sivulla ennen tuotantoon siirtymistä. Aika noudattaa samaa logiikkaa: jokainen vuoro odottaa mallin vastausta, mikä sopii yön yli tehtävään käsittelyyn, mutta harvoin käyttäjän odottamaan käyttöliittymään.
Keskeiset asiat
- Computer Use soveltuu erinomaisesti visuaalisesti monimutkaisilta sivuilta tietojen poimintaan
- Pyydä kehotteessa aina jäsenneltyä tulostemuotoa (JSON)
- Yhdistä tekoälynavigointi Playwrightin DOM-poimintaan luotettavuuden lisäämiseksi
- Varaudu vierittämiseen pitkillä sivuilla
- Tarkista kriittiset numeeriset tiedot, sillä implisiittinen OCR ei ole täydellinen