Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Andmete puhastamine ja teisendamine

Õppetund 3 / 14 Värskendatud 5. november 2026 Kesktase
Sellel lehel
  1. Toorandmetest teostatavate järeldusteni
  2. Andmekvaliteedi diagnoosimine
  3. Puuduvate väärtuste käsitlemine
  4. Dubleerimiste eemaldamine
  5. Vormingute standardiseerimine
  6. Uute veergude loomine
  7. Puhastatud andmete eksportimine
  8. Sinu kord
  9. Peamised punktid

Toorandmetest teostatavate järeldusteni

Tegelikkuses on andmed harva puhtad. Kohtad dubleerivaid kirjeid topeltimpordist, puuduvaid väärtusi, kuna väli oli valikuline, kuupäevavorminguid, mis muutuvad sõltuvalt sisestajast, ja veerge, mis on päritud vanadest tarkvaralahendustest. Enne kui saad midagi analüüsida, pead andmed puhastama. See samm on pikka aega olnud töö kõige tänutum osa. ChatGPT muudab selle vestluseks: kirjeldad probleemi, see genereerib puhastuskoodi, käivitab selle ja näitab tulemust kontrollimiseks, enne kui edasi liigud.

Andmekvaliteedi diagnoosimine

Puhastamine ilma diagnoosita on nagu pimedalt sideme silmil parandamine. Alusta iga seanssi auditiga:

Analyze the quality of this file: missing values per column,
duplicates, detected data types, and potential outliers.

Aruanne annab protsendi puuduvatest väärtustest veergude kaupa, dubleerivate ridade arvu, veerud ebajärjekindlate tüüpidega – teksti ja numbrite segu viitab peaaegu alati käsitsi sisestamisele – ning äärmuslikud väärtused, mis on tõenäoliselt trükivead. Tellimuste faili auditi käigus võib selguda, et klientidel puuduvad sihtnumbrid või on tellimus 950 000 € asemel 950 €. Lühem vihje toimib samuti: „Kontrolli seda faili: milliseid levinud probleeme leiad?“ ChatGPT saab seejärel soovitada mitmeid lahendusi; küsi ühe valimise enne igaühe tagajärgede kohta.

Puuduvate väärtuste käsitlemine

See on kõige sagedasem probleem ja universaalset lahendust pole: õige strateegia sõltub sellest, mida tühi koht sinu kontekstis tähendab. Puuduv summa ei ole sama mis puuduv e-posti aadress.

Puudulike ridade kustutamine toimib siis, kui puuduvaid andmeid on vähe ja need pole kriitilised. E-posti kampaanial pole kasu kontaktist ilma aadressita: see rida on taastamatu.

Delete all rows where the "email" column is empty.

Vaikimisi väärtusega täitmine on mõttekas, kui tead loogilist väärtust. Kui sinu ettevõte tegutseb ainult Prantsusmaal ja riigi väli oli valikuline, tähendab puudumine „Prantsusmaa“; tühine summa soodusrreal tähendab nulli, mitte „teadmata“.

Replace missing values in "country" with "France"
and those in "amount" with 0.

Lõpuks sobib interpolatsioon ajaridadele ja pidevatele andmetele, kus nullväärtus tekitaks kõverasse kunstliku tühimiku.

For missing values in "monthly_revenue", use the average
of the previous and following months for the same customer.

Dubleerimiste eemaldamine

Dublid moonutavad kõiki järgnevaid statistilisi näitajaid: kliendi kahekordne lugemine kahekordistab tema panuse käibes ja tõstab tema reitingut kunstlikult. Siiski pead esmalt määratlema, mis moodustab dublikaadi, kuna kaks tellimust samalt kliendilt samal päeval võivad olla õigustatud.

Identify and remove duplicates based on the columns
"customer_name" and "order_date". Keep the first occurrence.

Palu ChatGPT-il näita sulle mõjutatud ridu enne nende eemaldamist ja võta aega nende ülevaatamiseks: just siis näed, kas kustutad tegelikku impordidublikaati või autentset teist tellimust.

Vormingute standardiseerimine

Kuupäevad on esimene takistus. Mitmest allikast toidetud fail sisaldab sageli „15/03/2026“, „2026-03-15“ ja „15 March 2026“, mida pandas ei saa koos sorteerida: sinu kuukõver jääb vaikseks, kuni see on lahendatud.

Convert all dates in the "purchase_date" column
to YYYY-MM-DD format and flag those that cannot be converted.

Tekst tekitab salakavalamaid raskusi, sest see jääb inim silmale loetavaks. „Paris“, „PARIS“ ja „paris“ loetakse kolmeks erinevaks linnaks; lõputühik pärast „Lyon “ loob neljanda; „Saint-Étienne“ versus „St Etienne“ jagab sinu piirkondliku müügi kaheks reale, millest kumbki pole õige.

Normalize the "city" column: capitalize the first letter,
remove extra spaces, and group variants
(Saint/St, missing hyphens).

Lõpuks jõuavad numbrid sageli vormindatuna kuvamiseks, mitte arvutamiseks. Niikaua kui veerg sisaldab „1,250.50 €“, pole summeerimine võimalik.

The "price" column contains values like "1,250.50 €".
Convert it to a decimal number (1250.50) and remove the euro symbol.

Uute veergude loomine

Teisendamine ei seisne ainult parandamises, vaid ka rikastamises. Kuupäevaveerg muutub kvartaliteljeks perioodide võrdlemiseks; summaveerg muutub äriliseks segmendiks, mida saad oma analüüsides kasutada.

Create a "quarter" column from "order_date"
and a "revenue_tier" column that categorizes revenue as:
"Small" (< 1000), "Medium" (1000-5000), "Large" (> 5000).

ChatGPT genereerib vastava pandas-koodi, kasutades pd.cut() või loogilisi tingimusi, ja käivitab selle. Seejärel kontrolli saadud jaotust: kui 90% sinu klientidest satub kategooriasse „Small“, on sinu lävendid halvasti kalibreeritud ja segmenteerimine ei õpeta sulle midagi.

Puhastatud andmete eksportimine

Kui puhastamine on lõpetatud, haara puhas fail. Allalaadimisnupp, mis asub ChatGPT-i loodud tabeli paremas ülanurgas, salvestab selle CSV-vormingus. Konkreetse vormingu jaoks küsi seda:

Export the cleaned DataFrame as CSV (UTF-8, semicolon separator)
so I can download it.

Seejärel ava fail oma tabelitarkvaras ja võrdle ridade arvu algsega: lahkud kasutatava failiga, mida saad kasutada mujal – Excelis, BI-tööriistas, järgmises seansis – ilma et peaksid järgmisel nädalal kõike uuesti tegema. Tööta alati koopiaga ja hoia algne fail puutumatuna, et vajadusel saaksid taastuda.

Puhastamise viis etappi Viis sammu: auditeeri faili kvaliteeti; käsitle puuduvaid väärtusi lähtuvalt tühja koha tähendusest; määratle ja kontrolli dubleerimisi; standardiseeri kuupäevad, tekst ja numbrid; ekspordi puhastatud fail. PUHASTAMINE Puhastamise viis etappi 1 Audit Kvaliteet 2 Puuduvad Lähtuvalt tühjast kohast 3 Dublid Kontrollitud 4 Vormingud Kuupäevad, tekst 5 Eksport Puhas fail Tööta koopiaga: algne fail jääb puutumatuks.
Õppemeetod; anomaaliad põhinevad artiklil „Extracting Insights with ChatGPT Data Analysis“ OpenAI abikeskusest (november 2026).

Sinu kord

Sinu esimene puhastus.

  1. Impordi reaalse faili koopia ja küsi kvaliteediauditit
  2. Käsitle puuduvaid väärtusi veergude kaupa, lähtudes tühja koha tähendusest
  3. Määratle, mis moodustab dublikaadi, vaata mõjutatud read üle ja eemalda need seejärel
  4. Standardiseeri kuupäevad, linnad ja summad
  5. Laadi puhas fail alla ja võrdle ridade arvu algsega

Ametlikud allikad: Extracting Insights with ChatGPT Data Analysis · Data analysis with ChatGPT (OpenAI Help Center)

Peamised punktid

  • Alusta alati kvaliteediauditiga enne analüüsi
  • ChatGPT haldab puuduvaid väärtusi, dubleerimisi ja ebajärjekindlaid vorminguid mõne sõnumiga
  • Kontrolli süstemaatiliselt vaheetappe – küsi pärast iga toimingut eelvaadet
  • Ekspordi puhastatud fail, et seda vajadusel teistes tööriistades uuesti kasutada
  • Pythoni kood on nähtav: saad seda kopeerida ja oma skriptides uuesti kasutada