Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Estrazzjoni tad-Data minn Paġni tal-Web

Lezzjoni 7 / 14 Aġġornat 3 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Scraping Ibbażat fuq il-Viżjoni
  2. Aqra u Rrapporta
  3. Estrazzjoni ta’ Kontenut Lil Hinn mill-Iskrin
  4. L-Approċċ Ibridu: Innaviga bil-Viżjoni, Estrai permezz tad-DOM
  5. Strutturi Mhux Standard
  6. Ippreżerva t-Traċċabbiltà tal-Estrazzjoni
  7. X’ma Tagħtikx il-Viżjoni
  8. Punti Ewlenin

Lezzjoni aġġornata fit-3 ta’ Novembru 2026 ibbażata fuq il-gwida Computer Use ta’ OpenAI: kompitu jintmeta meta r-risposta ma fihiex computer_call, mhux ibbażat fuq l-stop_reason mill-API ta’ Anthropic użat fil-verżjoni preċedenti. L-iskritt ta’ estrazzjoni DOM kellu seletturi mingħajr kwotazzjonijiet, u kkawża żball fil-JavaScript; dan issa ġie rranġat. Ċifri mingħajr sors (tokens għal kull screenshot, tul ta’ żmien għal kull paġna) ġew sostitwiti b’fatturi tal-ispiża ddokumentati minn OpenAI. Sorsi: Computer Use · Image Cost Calculator.

Scraping Ibbażat fuq il-Viżjoni

Estrattur klassiku jaqra l-HTML: jivvjaġġa d-DOM, isegwi ġerarkija ta’ tags, u jfalli l-ħin kollu meta s-sit jibdel għar-rendering fuq in-naħa tal-klijent (client-side) jew ibiddel l-ismijiet tal-klassijiet tiegħu. Il-Computer Use jaħdem b’mod differenti—l-aġent jaqra l-iskrin eżattament kif jagħmel bniedem, imbagħad jirritorna dak li fehem fil-format li talbt. L-impatt prattiku huwa sinifikanti: siti li qabel kienu inaċċessibbli għall-iscrapers issa jsiru disponibbli, peress li dak li jara l-aġent huwa eżattament dak li jara l-utent.

Aqra u Rrapporta

L-aktar każ sempliċi jinvolvi li titlob qari tal-kontenut viżibbli u ritorn strutturat. Il-punt kritiku huwa li timponi l-format tal-output fil-prompt: mingħajr istruzzjonijiet, il-mudell iwieġeb b’proża, u jfurzak tipparsja test liberu, li jeqred il-benefiċċju kollu tal-operazzjoni.

task = """
Mur fuq https://news.example.com u estrai l-ewwel 5 titli ta' artikoli 
viżibbli fil-paġna ewlenija.

Irritorna r-riżultat fil-format JSON:
[
  {"rank": 1, "title": "..."},
  {"rank": 2, "title": "..."},
  ...
]
"""

L-aġent jara s-screenshot, jidentifika t-titli, u jirritorna l-JSON fir-risposta finali tat-test tiegħu—dik li tasal meta r-risposta ma tibqax fiha computer_call. Int taqra dan minn response.output_text.

Estrazzjoni ta’ Kontenut Lil Hinn mill-Iskrin

Viewport għoli 720 pixel juri biss frazzjoni ta’ paġna tar-riżultati. Għalhekk, tridd tiddeskrivi mhux biss x’tiġbor, iżda wkif kif tinnaviga l-paġna u l-kundizzjoni biex tieqaf. Inkella, l-aġent se jiskrollja sakemm jintemmu l-iterazzjonijiet tiegħek, u jirritorna data mqassra.

task = """
F'din il-paġna tar-riżultati tat-tiftix:
1. Aqra r-riżultati viżibbli kollha u nnota
2. Skrollja 'l isfel biex tara aktar riżultati
3. Kompli sakemm tiġbor 20 riżultat jew tilħaq 
   il-qiegħ tal-paġna

Għal kull riżultat, estrai:
- Titlu
- URL
- Deskrizzjoni qasira

Irritorna kollox f'JSON.
"""

It-tabelli huma l-aktar terren favorevoli għax il-mudell jifhem immedjatament l-istrutturi tabulari viżwali: jassoċja ċellola mal-kolonna tagħha permezz ta’ allinjament sempliċi, filwaqt li estrattur DOM irid jgħodd l-elementi <td> u jitlif hekk kif ċellola tiġi mgħaqqda. Iddeskrivi l-kolonni mistennija, u huwa jimla r-ringieli.

task = """
Iftaħ https://stats.example.com/prices u estrai t-tabella tal-prezzijiet 
murija fil-paġna.

It-tabella għandha kolonni: Prodott, Prezz mingħajr VAT, VAT, Prezz bil-VAT.
Estrai r-ringieli kollha u rritorna f'JSON:
{
  "headers": ["Product", "Price ex-VAT", "VAT", "Price inc-VAT"],
  "rows": [
    ["Widget A", "10.00", "20%", "12.00"],
    ...
  ]
}
"""

L-Approċċ Ibridu: Innaviga bil-Viżjoni, Estrai permezz tad-DOM

Għad-data sensittiva—ammonti, referenzi tal-prodotti—il-qari viżwali jibqa’ approssimattiv. L-aktar kombinazzjoni robusta taqsam ir-rwoli skont il-punti qawwija ta’ kull għodda: l-aġent jittratta l-parti li hija diffiċli biex tiskriptja, jiġifieri tilħaq il-paġna t-tajba permezz ta’ tfittxijiet, filtri, u dijalogi ta’ kunsens; imbagħad Playwright jieħu f’idejh fejn il-preċiżjoni hija l-aktar importanti, billi jaqra l-valuri direttament mid-DOM.

def extract_with_dom(page, task_description: str):
    """Uża l-Computer Use biex tinnaviga, u Playwright biex testrai."""
    # Fażi 1: Il-Computer Use jinnaviga u jidentifika ż-żona
    run_agent(task_description, page=page)
    
    # Fażi 2: Playwright testrai data preċiża
    data = page.evaluate("""
        () => {
            const rows = document.querySelectorAll('table tbody tr');
            return Array.from(rows).map(row => {
                const cells = row.querySelectorAll('td');
                return Array.from(cells).map(c => c.textContent.trim());
            });
        }
    """)
    
    return data

Strutturi Mhux Standard

Kards tal-prodotti, profili, elenki: dawn il-layouts jaħarbu mit-templates regolari, u dan huwa preċiżament fejn il-viżjoni tieħu t-tmexxija. Il-prompt irid imbagħad isemmi kull qasam mistenni, jispeċifika t-tip tiegħu, u jipprovdi eżempju sħiħ tal-output. Inkella, tista’ tirrikupra “€250,000” f’rekord wieħed u 250000 fil-li li jmiss, u tikkawża li l-ipproċessar sussegwenti jfalli fl-ewwel linja.

task = """
F'din il-paġna tar-riżultati tal-proprjetà immobbli, estrai għal kull listing:
- prezz (numru, f'euro)
- erja (f'm²)
- kmamar (numru sħiħ)
- belt
- kodiċi_postali
- listing_url

Skrollja biex titgħabbi aktar listings jekk ikun meħtieġ.
Ieqaf meta jkollok 10 listings jew meta ma jkunx hemm aktar.

Format strett tal-output JSON:
{
  "listings": [
    {
      "price": 250000,
      "area": 65,
      "rooms": 3,
      "city": "Paris",
      "postal_code": "75011",
      "listing_url": "https://..."
    }
  ]
}
"""

Ippreżerva t-Traċċabbiltà tal-Estrazzjoni

Estrazzjoni mingħajr metadata ssir inutilizzabbli wara tliet ġimgħat: ma tkunx taf minn fejn ġew iċ-ċifri jew meta kienu datati, u dan jagħmel il-paragun mal-ġbir li jmiss bla sens. Irreġistra sistematikament is-sors u t-timbru tad-data flimkien mad-data.

import json
from datetime import datetime, timezone

def save_extraction(data: dict, source_url: str):
    """Salva d-data estratta bil-metadata."""
    now = datetime.now(timezone.utc)
    output = {
        "source": source_url,
        "extracted_at": now.isoformat(),
        "data": data,
    }

    filename = f"extraction_{now:%Y%m%d_%H%M%S}.json"
    with open(filename, "w", encoding="utf-8") as f:
        json.dump(output, f, ensure_ascii=False, indent=2)
    
    print(f"Data saved to {filename}")

X’ma Tagħtikx il-Viżjoni

Il-preċiżjoni numerika hija l-ewwel limitazzjoni. L-OCR impliċitu tal-mudell jista’ jħawwad karattri ta’ forma simili—0 u O, 1 u l—li huwa irrilevanti għal titlu ta’ artikolu iżda inaċċettabbli għal IBAN jew referenza ta’ ordni: dejjem ivverifika d-data kritika, jew uża l-estrazzjoni DOM għal dawk il-qasam.

L-ispiża tiġi wara. Kull screenshot jingħodd bħala input ta’ stampa, li l-prezz tiegħu jiddependi mid-daqs tiegħu u l-mudell—OpenAI jipprovdi kalkulatur biex tistma dan—u estrazzjoni b’sekwenzi ta’ skrolljar tgħaqqad ħafna dawriet flimkien. Peress li l-istorja kollha tal-katina terġa’ tiġi ffrattata bħala input fuq kull talba, l-ispiża ta’ ġbir twil tikber aktar malajr min-numru ta’ screenshots tiegħu. Għalhekk, kwalunkwe volum kbir li għandu jinġabar kuljum jiġġustifika kejl fuq ftit paġni reali qabel ma tmur għall-produzzjoni. Il-ħin isegwi l-istess loġika: kull dawra tistenna rispons mill-mudell, li jixraq għall-ipproċessar billejl iżda rari għal interface tal-utent li qed jistenna tweġiba.

Punti Ewlenin

  • Il-Computer Use huwa eċċellenti fl-estrazzjoni ta’ data minn paġni viżwalment kumplessi
  • Dejjem itlob format ta’ output strutturat (JSON) fil-prompt
  • Ikkombina n-navigazzjoni tal-AI mal-estrazzjoni DOM ta’ Playwright għal affidabbiltà ogħla
  • Ippjana għall-iskrolljar fuq paġni twal
  • Iverifika d-data numerika kritika għax l-OCR impliċitu mhuwiex perfett