Čistenie a transformácia dát
Na tejto strane
Od surových dát k použiteľným poznatkom
Reálne dáta sú zriedkavo čisté. Nájdeš v nich duplicity vzniknuté dvojitým importom, chýbajúce hodnoty preto, že pole bolo voliteľné, formáty dátumov, ktoré sa líšia podľa toho, kto údaje zadával, a stĺpce zdedené zo starších nástrojov. Predtým, než začneš čokoľvek analyzovať, musíš dáta vyčistiť. Tento krok bol dlho najnevďačnejšou súčasťou práce. ChatGPT z neho robí konverzáciu: popíšeš problém, on vygeneruje čistiaci kód, spustí ho a pred ďalším postupom ti ukáže výsledok na overenie.
Diagnostika kvality tvojich dát
Čistenie bez diagnostiky je ako oprava niečoho so zaviazanými očami. Každú reláciu začni auditom:
Analyze the quality of this file: missing values per column,
duplicates, detected data types, and potential outliers.
Správa ti poskytne percentuálny podiel chýbajúcich hodnôt stĺpec po stĺpci, počet duplicitných riadkov, stĺpce s nekonzistentnými typmi – zmes textu a čísel takmer vždy naznačuje ručné zadávanie – a extrémne hodnoty, ktoré sú pravdepodobne preklepy. Pri súbore objednávok môže audit odhaliť zákazníkov bez poštových smerovacích čísel alebo objednávku na 950 000 € namiesto 950 €. Funguje aj kratší prompt: „Skontroluj tento súbor: aké bežné problémy nájdeš?“ ChatGPT ti následne môže navrhnúť niekoľko spôsobov, ako ich opraviť; pred výberom sa opýtaj na dôsledky každého z nich.
Práca s chýbajúcimi hodnotami
Toto je najčastejší problém a neexistuje univerzálne riešenie: správna stratégia závisí od toho, čo prázdne miesto znamená v tvojom kontexte. Chýbajúca suma nie je to isté ako chýbajúca e-mailová adresa.
Vymazanie neúplných riadkov funguje, keď sú chýbajúce údaje zriedkavé a nie sú kritické. E-mailová kampaň nemá žiadny úžitok z kontaktu bez adresy: tento riadok je nenávratne stratený.
Delete all rows where the "email" column is empty.
Doplnenie predvolenou hodnotou dáva zmysel, keď poznáš logickú hodnotu. Ak tvoja firma pôsobí výlučne vo Francúzsku a pole krajiny bolo voliteľné, neprítomnosť znamená „Francúzsko“; prázdna suma na riadku zľavy znamená nulu, nie „neznáme“.
Replace missing values in "country" with "France"
and those in "amount" with 0.
Nakoniec, interpolácia sa hodí pre časové rady a spojité dáta, kde by nulová hodnota vytvorila umelú medzeru v krivke.
For missing values in "monthly_revenue", use the average
of the previous and following months for the same customer.
Odstraňovanie duplicit
Duplicity skresľujú všetky následné štatistiky: započítanie zákazníka dvakrát zdvojnásobí jeho príspevok k tržbám a umelo zvýši jeho poradie. Najprv však musíš definovať, čo predstavuje duplicitu, keďže dve objednávky od toho istého zákazníka v ten istý deň môžu byť legitímne.
Identify and remove duplicates based on the columns
"customer_name" and "order_date". Keep the first occurrence.
Požiadaj ChatGPT, aby ti pred odstránením ukázal dotknuté riadky, a venuj čas ich kontrole: presne v tomto momente zistíš, či mažeš skutočnú duplicitu z importu, alebo legitímnu druhú objednávku.
Štandardizácia formátov
Dátumy sú prvou prekážkou. Súbor napájaný z viacerých zdrojov často obsahuje „15/03/2026“, „2026-03-15“ aj „15 March 2026“, čo pandas nedokáže spoločne zoradiť: tvoja mesačná krivka zostane nemá, kým sa toto nevyrieši.
Convert all dates in the "purchase_date" column
to YYYY-MM-DD format and flag those that cannot be converted.
Text prináša záludnejšie ťažkosti, pretože pre ľudské oko zostáva čitateľný. „Paris“, „PARIS“ a „paris“ sa počítajú ako tri rôzne mestá; medzera na konci za „Lyon “ vytvára štvrté; „Saint-Étienne“ oproti „St Etienne“ rozdelí tvoje regionálne tržby na dva riadky, z ktorých ani jeden nie je správny.
Normalize the "city" column: capitalize the first letter,
remove extra spaces, and group variants
(Saint/St, missing hyphens).
Nakoniec, čísla často prichádzajú naformátované skôr na zobrazenie než na výpočet. Pokiaľ stĺpec obsahuje „1,250.50 €“, nie je možné žiadne sčítavanie.
The "price" column contains values like "1,250.50 €".
Convert it to a decimal number (1250.50) and remove the euro symbol.
Vytváranie nových stĺpcov
Transformácia nie je len o opravách; je aj o obohacovaní. Stĺpec s dátumom sa stáva štvrťročnou osou na porovnanie období; stĺpec so sumou sa stáva obchodným segmentom použiteľným v tvojich analýzach.
Create a "quarter" column from "order_date"
and a "revenue_tier" column that categorizes revenue as:
"Small" (< 1000), "Medium" (1000-5000), "Large" (> 5000).
ChatGPT vygeneruje zodpovedajúci kód v pandas, použije pd.cut() alebo logické podmienky a spustí ho. Potom skontroluj výsledné rozdelenie: ak 90 % tvojich zákazníkov spadne do kategórie „Small“, tvoje prahové hodnoty sú zle nastavené a segmentácia ťa nič nenaučí.
Export vyčistených dát
Keď je čistenie dokončené, stiahni si čistý súbor. Tlačidlo na stiahnutie, ktoré sa nachádza v pravom hornom rohu tabuľky vytvorenej ChatGPT, ho uloží vo formáte CSV. Pre konkrétny formát si oň požiadaj:
Export the cleaned DataFrame as CSV (UTF-8, semicolon separator)
so I can download it.
Potom otvor súbor v tabuľkovom procesore a porovnaj počet riadkov s originálom: odchádzaš so súborom použiteľným inde – Excel, BI nástroj, ďalšia relácia – bez toho, aby si musel budúci týždeň robiť všetko odznova. Vždy pracuj s kópiou a originálny súbor si nechaj nedotknutý, aby si sa v prípade potreby mohol vrátiť späť.
Teraz si na rade ty
Tvoje prvé čistenie.
- Importuj kópiu reálneho súboru a požiadaj o audit kvality
- Vyrieš chýbajúce hodnoty stĺpec po stĺpci na základe významu prázdneho miesta
- Definuj, čo predstavuje duplicitu, preskúmaj dotknuté riadky a potom ich odstráň
- Štandardizuj dátumy, mestá a sumy
- Stiahni si vyčistený súbor a porovnaj počet riadkov s originálom
Oficiálne zdroje: Extracting Insights with ChatGPT Data Analysis · Data analysis with ChatGPT (Centrum pomoci OpenAI)
Kľúčové poznatky
- Vždy začni auditom kvality predtým, než začneš analyzovať
- ChatGPT zvládne chýbajúce hodnoty, duplicity a nekonzistentné formáty v priebehu niekoľkých správ
- Systematicky overuj priebežné výsledky – po každej operácii si vyžiadaj náhľad
- Exportuj vyčistený súbor, aby si ho mohol znovu použiť v iných nástrojoch, ak je to potrebné
- Kód v Pythone je viditeľný: môžeš ho skopírovať a znovu použiť vo vlastných skriptoch