Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Datien puhdistus ja muunnos

Oppitunti 3 / 14 Päivitetty 5. marraskuuta 2026 Keskitasoinen
Tällä sivulla
  1. Raakadatasta toimiviin oivalluksiin
  2. Datasi laadun diagnosointi
  3. Puuttuvien arvojen käsittely
  4. Duplikaattien poistaminen
  5. Muotojen standardointi
  6. Uusien sarakkeiden luominen
  7. Puhdistetun datan vienti
  8. Sinun vuorosi
  9. Keskeiset asiat

Raakadatasta toimiviin oivalluksiin

Todellinen data on harvoin siistiä. Löydät kaksoiskappaleita toistuvista tuonneista, puuttuvia arvoja, koska kenttä oli vapaaehtoinen, päivämäärämuotoja, jotka vaihtelevat syöttäjän mukaan, ja sarakkeita, jotka ovat periytyneet vanhoista työkaluista. Ennen kuin voit analysoida mitään, sinun on puhdistettava data. Tämä vaihe on pitkään ollut työn kiittämättömin osa. ChatGPT muuttaa sen keskusteluksi: kuvailet ongelman, se generoi puhdistuskoodin, suorittaa sen ja näyttää tuloksen tarkistettavaksi ennen kuin jatkat.

Datasi laadun diagnosointi

Puhdistaminen ilman diagnoosia on kuin korjaisit jotain silmät sidottuina. Aloita jokainen istunto auditoinnilla:

Analyze the quality of this file: missing values per column,
duplicates, detected data types, and potential outliers.

Raportti antaa puuttuvien arvojen prosenttiosuudet sarake kerrallaan, duplikaattirivien määrän, sarakkeet, joissa on epäjohdonmukaisia tyyppejä – tekstin ja numeroiden sekoitus viittaa lähes aina manuaaliseen syöttöön – sekä ääriarvot, jotka ovat todennäköisesti kirjoitusvirheitä. Tilaustiedostossa auditointi voi paljastaa asiakkaita ilman postinumeroa tai tilauksen, jonka arvo on 950 000 € 950 €:n sijaan. Lyhyempi kehote toimii myös: “Tarkista tämä tiedosto: mitä yleisiä ongelmia löydät?” ChatGPT voi sitten ehdottaa useita tapoja korjata ne; kysy kunkin seurauksista ennen valintaa.

Puuttuvien arvojen käsittely

Tämä on yleisin ongelma, eikä siihen ole yhtä kaikille sopivaa ratkaisua: oikea strategia riippuu siitä, mitä tyhjä tila tarkoittaa kontekstissasi. Puuttuva summa ei ole sama asia kuin puuttuva sähköpostiosoite.

Puutteellisten rivien poistaminen toimii, kun puuttuva data on vähäistä eikä kriittistä. Sähköpostikampanjalle ei ole hyötyä yhteystiedosta ilman osoitetta: tuo rivi on korjaamaton.

Delete all rows where the "email" column is empty.

Oletusarvon täyttäminen on järkevää, kun tiedät loogisen arvon. Jos yrityksesi toimii yksinomaan Ranskassa ja maakohta oli vapaaehtoinen, puuttuminen tarkoittaa “Ranskaa”; tyhjä summa alennusrivillä tarkoittaa nollaa, ei “tuntematonta”.

Replace missing values in "country" with "France"
and those in "amount" with 0.

Lopuksi interpolointi sopii aikasarjoille ja jatkuvalle datalle, jossa null-arvo loisi keinotekoisen aukon käyrään.

For missing values in "monthly_revenue", use the average
of the previous and following months for the same customer.

Duplikaattien poistaminen

Duplikaatit vääristävät kaikkia myöhempiä tilastoja: asiakkaan laskeminen kahdesti kaksinkertaistaa hänen osuutensa liikevaihdosta ja keinotekoisesti nostaa hänen sijoitustaan. Sinun on kuitenkin ensin määriteltävä, mikä constitutes duplikaatin, sillä kaksi tilausta samalta asiakkaalta samana päivänä voi olla legitiimi.

Identify and remove duplicates based on the columns
"customer_name" and "order_date". Keep the first occurrence.

Pyydä ChatGPT:tä näyttämään affected rivit ennen niiden poistamista ja käytä aikaa niiden tarkistamiseen: juuri silloin näet, poistatko todellisen tuontiduplikaatin vai aidon toisen tilauksen.

Muotojen standardointi

Päivämäärät ovat ensimmäinen haaste. Useista lähteistä syötetty tiedosto sisältää usein muotoja kuten “15/03/2026”, “2026-03-15” ja “15 March 2026”, joita pandas ei voi lajitella yhdessä: kuukausikäyräsi pysyy mykkänä, kunnes tämä on ratkaistu.

Convert all dates in the "purchase_date" column
to YYYY-MM-DD format and flag those that cannot be converted.

Teksti aiheuttaa salakavalampia vaikeuksia, koska se pysyy ihmisen silmälle luettavana. “Paris”, “PARIS” ja “paris” lasketaan kolmeksi eri kaupungiksi; välilyönti sanan “Lyon ” jälkeen luo neljännen; “Saint-Étienne” versus “St Etienne” jakaa alueellisen myyntisi kahteen riviin, joista kumpikaan ei ole oikein.

Normalize the "city" column: capitalize the first letter,
remove extra spaces, and group variants
(Saint/St, missing hyphens).

Lopuksi numerot saapuvat usein muotoiltuna näyttöä varten eikä laskentaa varten. Niin kauan kuin sarake sisältää arvoja kuten “1 250,50 €”, summaaminen on mahdotonta.

The "price" column contains values like "1,250.50 €".
Convert it to a decimal number (1250.50) and remove the euro symbol.

Uusien sarakkeiden luominen

Muunnos ei ole vain korjaamista; se on rikastamista. Päivämääräsarakkeesta tulee vuosineljännesakseli jaksojen vertailuun; summasarakkeesta tulee kaupallinen segmentti, jota voit käyttää analyyseissäsi.

Create a "quarter" column from "order_date"
and a "revenue_tier" column that categorizes revenue as:
"Small" (< 1000), "Medium" (1000-5000), "Large" (> 5000).

ChatGPT generoi vastaavan pandas-koodin käyttäen pd.cut()-funktiota tai loogisia ehtoja ja suorittaa sen. Tarkista sitten tuloksena oleva jakauma: jos 90 % asiakkaistasi osuu luokkaan “Small”, kynnysarvosi ovat huonosti kalibroituja, eikä segmentointi opeta sinulle mitään.

Puhdistetun datan vienti

Kun puhdistus on valmis, hae puhdas tiedosto. Latauspainike, joka sijaitsee ChatGPT:n tuottaman taulukon oikeassa yläkulmassa, tallentaa sen CSV-muodossa. Jos tarvitset tiettyä muotoa, pyydä sitä:

Export the cleaned DataFrame as CSV (UTF-8, semicolon separator)
so I can download it.

Avaa sitten tiedosto laskentataulukko-ohjelmistossasi ja vertaa rivimäärää alkuperäiseen: saat käyttökelpoisen tiedoston, jota voit käyttää muualla – Excelissä, BI-työkalussa tai seuraavassa istunnossa – ilman että sinun tarvitsee tehdä kaikkea uudelleen ensi viikolla. Työskentele aina kopion parissa ja pidä alkuperäinen tiedosto koskemattomana, jotta voit palata siihen tarvittaessa.

Puhdistuksen viisi vaihetta Viisi askelta: tiedoston laadun auditointi; puuttuvien arvojen käsittely tyhjän tilan merkityksen perusteella; duplikaattien määrittely ja varmistaminen; päivämäärien, tekstin ja numeroiden standardointi; puhtaan tiedoston vienti. PUHDISTUS Puhdistuksen viisi vaihetta 1 Auditointi Laatu 2 Puuttuvat Tyhjän tilan perusteella 3 Duplikaatit Varmistetut 4 Muodot Päivämäärät, teksti 5 Vienti Puhdas tiedosto Työskentele kopiolla: alkuperäinen tiedosto pysyy koskemattomana.
Oppitunnin metodi; poikkeamat perustuvat artikkeliin "Extracting Insights with ChatGPT Data Analysis" OpenAI Help Centeristä (marraskuu 2026).

Sinun vuorosi

Ensimmäinen puhdistuksesi.

  1. Tuo kopio todellisesta tiedostosta ja pyydä laatuauditointia
  2. Käsittele puuttuvat arvot sarake kerrallaan sen perusteella, mitä tyhjä tila tarkoittaa
  3. Määrittele, mikä constitutes duplikaatin, tarkista affected rivit ja poista ne sitten
  4. Standardoi päivämäärät, kaupungit ja summat
  5. Lataa puhdas tiedosto ja vertaa rivimäärää alkuperäiseen

Viralliset lähteet: Extracting Insights with ChatGPT Data Analysis · Data analysis with ChatGPT (OpenAI Help Center)

Keskeiset asiat

  • Aloita aina laatuauditoinnilla ennen analyysiä
  • ChatGPT käsittelee puuttuvat arvot, duplikaatit ja epäjohdonmukaiset muodot muutamalla viestillä
  • Varmista välitulokset systemaattisesti – pyydä esikatselua jokaisen operaation jälkeen
  • Vie puhdistettu tiedosto uudelleenkäyttöä varten muissa työkaluissa tarvittaessa
  • Python-koodi on näkyvissä: voit kopioida ja käyttää sitä omissa skripteissäsi