Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Adattisztítás és transzformáció

3. lecke 14 közül Frissítve 2026. november 5. Középhaladó
Ezen az oldalon
  1. Nyers adatoktól a cselekvésre ösztönző következtetésekig
  2. Az adatminőség diagnosztizálása
  3. Hiányzó értékek kezelése
  4. Duplikációk eltávolítása
  5. Formátumok szabványosítása
  6. Új oszlopok létrehozása
  7. Tisztított adatok exportálása
  8. Rajtad a sor
  9. Főbb megállapítások

Nyers adatoktól a cselekvésre ösztönző következtetésekig

A valós adatok ritkán tiszták. Találsz majd duplikált sorokat ismételt importálásból, hiányzó értékeket opcionális mezők miatt, dátumformátumokat, amelyek az adatot rögzítő személytől függően változnak, és örökölt oszlopokat elavult eszközökből. Mielőtt bármit elemeznél, tisztítanod kell. Ez a lépés régóta a munka leghálátlanabb része volt. A ChatGPT beszélgetéssé alakítja ezt: leírod a problémát, ő generálja a tisztító kódot, végrehajtja, majd ellenőrzés céljából megmutatja az eredményt, mielőtt továbblépnél.

Az adatminőség diagnosztizálása

Tisztítás diagnosztika nélkül olyan, mint bekötött szemmel javítani valamit. Minden munkamenetet auditálással kezdj:

Analyze the quality of this file: missing values per column,
duplicates, detected data types, and potential outliers.

A jelentés oszloponkénti százalékos arányban mutatja a hiányzó értékeket, a duplikált sorok számát, a következetlen típusú oszlopokat – a szöveg és számok keveréke szinte mindig manuális bevitelre utal –, valamint a valószínűleg elírásból származó szélsőértékeket. Egy rendelési fájlnál az audit feltárhat például irányítószám nélküli ügyfeleket vagy egy 950 000 eurós rendelést 950 euró helyett. Egy rövidebb prompt is működik: „Ellenőrizd ezt a fájlt: milyen gyakori problémákat találsz?“ A ChatGPT ezután több megoldási módot is javasolhat; kérdezz rá az egyes lehetőségek következményeire, mielőtt választanál.

Hiányzó értékek kezelése

Ez a leggyakoribb probléma, és nincs univerzális megoldás: a helyes stratégia attól függ, mit jelent az üres hely a te kontextusodban. Egy hiányzó összeg nem ugyanaz, mint egy hiányzó e-mail cím.

A hiányos sorok törlése akkor működik, ha a hiányzó adat ritka és nem kritikus. Egy e-mail kampánynak nincs haszna egy cím nélküli kapcsolattartóból: az a sor menthetetlen.

Delete all rows where the "email" column is empty.

Alapértelmezett értékkel való kitöltés akkor logikus, ha ismered a helyes értéket. Ha vállalkozásod kizárólag Franciaországban működik, és az ország mező opcionális volt, a hiány „Franciaországot“ jelent; egy üres összeg egy kedvezmény sornál nullát jelent, nem „ismeretlent“.

Replace missing values in "country" with "France"
and those in "amount" with 0.

Végül az interpoláció idősorokhoz és folytonos adatokhoz illik, ahol a null érték mesterséges hézagot hozna létre a görbén.

For missing values in "monthly_revenue", use the average
of the previous and following months for the same customer.

Duplikációk eltávolítása

A duplikációk torzítanak minden downstream statisztikát: egy ügyfél kétszeri megszámolása megduplázza a bevételhez való hozzájárulását, és mesterségesen felfelé húzza a rangsorolását. Ugyanakkor először definiálnod kell, mi számít duplikációnak, mivel ugyanannak az ügyfélnek ugyanazon a napon leadott két rendelése legitim lehet.

Identify and remove duplicates based on the columns
"customer_name" and "order_date". Keep the first occurrence.

Kérd meg a ChatGPT-t, hogy mutassa meg az érintett sorokat eltávolítás előtt, és szánj rá időt az átnézésre: pontosan ekkor látod majd, hogy valódi import-duplikációt vagy egy valós második rendelést törölsz-e.

Formátumok szabványosítása

A dátumok az első akadály. Több forrásból táplált fájl gyakran tartalmaz „15/03/2026“, „2026-03-15“ és „15 March 2026“ formátumokat is, amelyeket a pandas nem tud együtt rendezni: a havi görbéd néma marad, amíg ezt meg nem oldod.

Convert all dates in the "purchase_date" column
to YYYY-MM-DD format and flag those that cannot be converted.

A szöveg alattomosabb nehézségeket okoz, mert az emberi szem számára olvasható marad. A „Paris“, „PARIS“ és „paris“ három különálló városnak számít; egy trailing space a „Lyon “ után egy negyediket hoz létre; a „Saint-Étienne“ kontra „St Etienne“ két vonalra szakítja a regionális eladásaidat, amelyek egyike sem helyes.

Normalize the "city" column: capitalize the first letter,
remove extra spaces, and group variants
(Saint/St, missing hyphens).

Végül a számok gyakran megjelenítésre, nem számításra formázva érkeznek. Amíg az oszlop „1,250.50 €“ értékeket tartalmaz, addig összeadás nem lehetséges.

The "price" column contains values like "1,250.50 €".
Convert it to a decimal number (1250.50) and remove the euro symbol.

Új oszlopok létrehozása

A transzformáció nem csupán javításról szól, hanem gazdagításról is. Egy dátum oszlop negyedéves tengellyé válik az időszakok összehasonlításához; egy összeg oszlop kereskedelmi szegmenssé, amely felhasználható az elemzéseidben.

Create a "quarter" column from "order_date"
and a "revenue_tier" column that categorizes revenue as:
"Small" (< 1000), "Medium" (1000-5000), "Large" (> 5000).

A ChatGPT generálja a megfelelő pandas kódot, használva a pd.cut() függvényt vagy logikai feltételeket, majd végrehajtja azt. Ezután ellenőrizd a kapott eloszlást: ha ügyfeleid 90%-a a „Small“ kategóriába esik, akkor a küszöbértékeid rosszul vannak beállítva, és a szegmentálás nem tanít majd semmit.

Tisztított adatok exportálása

Ha a tisztítás befejeződött, töltsd le a tiszta fájlt. A letöltés gomb, amely a ChatGPT által előállított táblázat jobb felső sarkában található, CSV formátumban menti az adatot. Specifikus formátumhoz kérd ezt:

Export the cleaned DataFrame as CSV (UTF-8, semicolon separator)
so I can download it.

Ezután nyisd meg a fájlt a táblázatkezelő szoftveredben, és hasonlítsd össze a sorszámot az eredetivel: így egy máshol is használható fájllal távozol – Excel, BI eszköz, következő munkamenet –, anélkül, hogy a következő héten mindent újra kellene csinálnod. Mindig másolaton dolgozz, és hagyd érintetlenül az eredeti fájlt, hogy szükség esetén vissza tudj lépni.

A tisztítás öt fázisa Öt lépés: fájlminőség auditálása; hiányzó értékek kezelése az üres hely jelentése alapján; duplikációk definiálása és ellenőrzése; dátumok, szövegek és számok szabványosítása; tisztított fájl exportálása. TISZTÍTÁS A tisztítás öt fázisa 1 Audit Minőség 2 Hiányzó Az üres hely alapján 3 Duplikációk Ellenőrzött 4 Formátumok Dátumok, szöveg 5 Export Tisztított fájl Másolaton dolgozz: az eredeti fájl érintetlen marad.
Óramódszer; anomáliák az „Extracting Insights with ChatGPT Data Analysis“ cikk alapján az OpenAI Help Centerből (2026. november).

Rajtad a sor

Az első tisztításod.

  1. Importálj egy valós fájl másolatát, és kérj minőségellenőrzést
  2. Kezeld a hiányzó értékeket oszloponként, az üres hely jelentése alapján
  3. Definiáld, mi számít duplikációnak, vizsgáld meg az érintett sorokat, majd távolítsd el őket
  4. Szabványosítsd a dátumokat, városneveket és összegeket
  5. Töltsd le a tisztított fájlt, és hasonlítsd össze a sorszámot az eredetivel

Hivatalos források: Extracting Insights with ChatGPT Data Analysis · Data analysis with ChatGPT (OpenAI Help Center)

Főbb megállapítások

  • Mindig minőségellenőrzéssel kezdj elemzés előtt
  • A ChatGPT néhány üzenet alatt kezeli a hiányzó értékeket, duplikációkat és inkonzisztens formátumokat
  • Szisztematikusan ellenőrizd a közbenső eredményeket – kérj előnézetet minden művelet után
  • Exportáld a tisztított fájlt, hogy szükség esetén más eszközökben is újrahasználd
  • A Python kód látható: másolhatod és felhasználhatod saját szkriptjeidben