Duomenų valymas ir transformavimas
Šiame puslapyje
Nuo žalių duomenų iki veiksmingų įžvalgų
Realūs duomenys retai būna švarūs. Rasite dublikatų dėl dvigubo importavimo, trūkstamų reikšmių, nes laukas buvo neprivalomas, datos formatus, kurie keičiasi priklausomai nuo to, kas įvedė duomenis, ir stulpelių, paveldėtų iš senų įrankių. Prieš pradėdami bet kokią analizę, privalote išvalyti duomenis. Ilgą laiką tai buvo pati nedėkingiausia darbo dalis. ChatGPT tai paverčia pokalbiu: jūs aprašote problemą, jis sugeneruoja valymo kodą, jį įvykdo ir parodo rezultatą patikrinimui, prieš jums judant toliau.
Duomenų kokybės diagnostika
Valyti be diagnostikos – tarsi taisyti užrištomis akimis. Kiekvieną sesiją pradėkite nuo audito:
Analyze the quality of this file: missing values per column,
duplicates, detected data types, and potential outliers.
Ataskaitoje pateikiamas trūkstamų reikšmių procentas kiekviename stulpelyje, dublikuotų eilučių skaičius, stulpeliai su nenuosekliais tipais (teksto ir skaičių mišinys beveik visada rodo rankinį įvedimą) ir ekstremalios reikšmės, kurios greičiausiai yra rašybos klaidos. Užsakymų faile auditas gali atskleisti klientus be pašto kodų arba užsakymą už 950 000 € vietoj 950 €. Tinka ir trumpesnis raginimas: „Patikrink šį failą: kokias dažnas problemas randi?“ Tada ChatGPT gali pasiūlyti kelias jų taisymo būdus; prieš pasirinkdami paklauskite apie kiekvieno pasekmes.
Trūkstamų reikšmių tvarkymas
Tai dažniausia problema, ir nėra universalaus sprendimo: tinkama strategija priklauso nuo to, ką tuščia vieta reiškia jūsų kontekste. Trūkstanti suma nėra tas pats, kas trūkstamas el. pašto adresas.
Neišsamių eilučių ištrynimas tinka, kai trūkstamų duomenų yra mažai ir jie nėra kritiniai. El. pašto kampanijai kontaktas be adreso yra nenaudingas: tokia eilutė neatstatoma.
Delete all rows where the "email" column is empty.
Užpildymas numatyta reikšme turi prasmę, kai žinote loginę reikšmę. Jei jūsų verslas veikia tik Prancūzijoje ir šalies laukas buvo neprivalomas, trūkumas reiškia „Prancūziją“; tuščia suma nuolaidos eilutėje reiškia nulį, o ne „nežinoma“.
Replace missing values in "country" with "France"
and those in "amount" with 0.
Galiausiai, interpoliacija tinka laiko eilutėms ir tolydiesiems duomenims, kur tuščia reikšmė sukurtų dirbtinį spragą kreivėje.
For missing values in "monthly_revenue", use the average
of the previous and following months for the same customer.
Dublikatų šalinimas
Dublikatai iškraipo visą tolesnę statistiką: suskaičiavus klientą du kartus, jo indėlis į pajamas padvigubėja, o jo reitingas dirbtinai pakyla. Tačiau pirmiausia turite apibrėžti, kas laikoma dublikatu, nes du to paties kliento užsakymai tą pačią dieną gali būti teisėti.
Identify and remove duplicates based on the columns
"customer_name" and "order_date". Keep the first occurrence.
Prašykite ChatGPT parodyti paveiktas eilutes prieš jas ištrinant ir skirti laiko joms peržiūrėti: būtent tada pamatysite, ar trinate tikrą importavimo dublikatą, ar teisėtą antrąjį užsakymą.
Formatų standartizavimas
Datos – pirmoji kliūtis. Failas, maitinamas iš kelių šaltinių, dažnai turi „15/03/2026“, „2026-03-15“ ir „15 March 2026“, kurių „pandas“ negali surūšiuoti kartu: jūsų mėnesio kreivė liks nebyli, kol tai neišspręsite.
Convert all dates in the "purchase_date" column
to YYYY-MM-DD format and flag those that cannot be converted.
Tekstas kelia klastingesnių sunkumų, nes žmogaus akiai jis lieka įskaitomas. „Paris“, „PARIS“ ir „paris“ skaičiuojami kaip trys skirtingi miestai; tarpo galas po „Lyon “ sukuria ketvirtą; „Saint-Étienne“ prieš „St Etienne“ padalija jūsų regionines pardavimų pajamas į dvi eilutes, ir nė viena nėra teisinga.
Normalize the "city" column: capitalize the first letter,
remove extra spaces, and group variants
(Saint/St, missing hyphens).
Galiausiai, skaičiai dažnai atkeliauja suformatuoti rodymui, o ne skaičiavimams. Kol stulpelyje yra „1,250.50 €“, jokia suma neįmanoma.
The "price" column contains values like "1,250.50 €".
Convert it to a decimal number (1250.50) and remove the euro symbol.
Naujų stulpelių kūrimas
Transformacija – tai ne tik taisymas, bet ir praturtinimas. Datos stulpelis tampa ketvirtine ašimi laikotarpiams palyginti; sumos stulpelis tampa komerciniu segmentu, naudojamu jūsų analizėse.
Create a "quarter" column from "order_date"
and a "revenue_tier" column that categorizes revenue as:
"Small" (< 1000), "Medium" (1000-5000), "Large" (> 5000).
ChatGPT sugeneruoja atitinkamą „pandas“ kodą, naudodamas pd.cut() arba logines sąlygas, ir jį įvykdo. Tada patikrinkite gautą pasiskirstymą: jei 90 % jūsų klientų patenka į „Small“ kategoriją, jūsų slenksčiai neteisingai sureguliuoti ir segmentacija jums nieko neišmokys.
Išvalytų duomenų eksportavimas
Baigus valymą, atsisiųskite švarų failą. Atsisiuntimo mygtukas, esantis ChatGPT sugeneruotos lentelės viršuje dešinėje, išsaugo jį CSV formatu. Konkretaus formato paprašykite:
Export the cleaned DataFrame as CSV (UTF-8, semicolon separator)
so I can download it.
Tada atidarykite failą savo skaičiuoklės programoje ir palyginkite eilučių skaičių su originalu: išeinate su failu, tinkamu naudoti kitur – „Excel“, BI įrankyje, kitoje sesijoje – nereikės visko daryti iš naujo kitą savaitę. Visada dirbkite su kopija ir palikite originalų failą nepaliestą, kad prireikus galėtumėte grįžti atgal.
Jūsų eilė
Jūsų pirmasis valymas.
- Importuokite realaus failo kopiją ir paprašykite kokybės audito
- Tvarkykite trūkstamas reikšmes stulpelis po stulpelio, atsižvelgdami į tai, ką reiškia tuščia vieta
- Apibrėžkite, kas laikoma dublikatu, peržiūrėkite paveiktas eilutes, tada jas pašalinkite
- Standartizuokite datas, miestus ir sumas
- Atsisiųskite švarų failą ir palyginkite eilučių skaičių su originalu
Oficialūs šaltiniai: Extracting Insights with ChatGPT Data Analysis · Data analysis with ChatGPT (OpenAI Help Center)
Svarbiausi punktai
- Prieš analizuojant visada pradėkite nuo kokybės audito
- ChatGPT per kelias žinutes tvarko trūkstamas reikšmes, dublikatus ir nenuoseklius formatus
- Sistemingai tikrinkite tarpinius rezultatus – po kiekvienos operacijos prašykite peržiūros
- Eksportuokite išvalytą failą, kad prireikus galėtumėte jį naudoti kituose įrankiuose
- Python kodas matomas: galite jį nukopijuoti ir naudoti savo scenarijuose