Czyszczenie i transformacja danych
Na tej stronie
Od surowych danych do użytecznych wniosków
Dane ze świata rzeczywistego rzadko są czyste. Trafisz na duplikaty wynikające z podwójnego importu, brakujące wartości, bo pole było opcjonalne, formaty dat zmieniające się w zależności od osoby wprowadzającej dane oraz kolumny odziedziczone po przestarzałych narzędziach. Zanim zaczniesz jakąkolwiek analizę, musisz wyczyścić dane. Ten etap od dawna był najbardziej niewdzięczną częścią pracy. ChatGPT zmienia go w rozmowę: opisujesz problem, on generuje kod czyszczący, wykonuje go i pokazuje wynik do weryfikacji, zanim przejdziesz dalej.
Diagnozowanie jakości danych
Czyszczenie bez diagnozy jest jak naprawa czegoś z zawiązanymi oczami. Każdą sesję zacznij od audytu:
Analyze the quality of this file: missing values per column,
duplicates, detected data types, and potential outliers.
Raport dostarczy procentu brakujących wartości dla każdej kolumny, liczby zduplikowanych wierszy, kolumn z niespójnymi typami (mieszanka tekstu i liczb prawie zawsze wskazuje na ręczne wprowadzanie danych) oraz wartości skrajnych, które prawdopodobnie są literówkami. W pliku z zamówieniami audyt może ujawnić klientów bez kodów pocztowych lub zamówienie na 950 000 € zamiast 950 €. Krótszy prompt też zadziała: „Sprawdź ten plik: jakie typowe problemy znajdujesz?“. ChatGPT zaproponuje wtedy kilka sposobów naprawy; przed wyborem zapytaj o konsekwencje każdego z nich.
Obsługa brakujących wartości
To najczęstszy problem i nie ma jednego uniwersalnego rozwiązania: właściwa strategia zależy od tego, co oznacza pusta przestrzeń w Twoim kontekście. Brakująca kwota to nie to samo co brakujący adres e-mail.
Usunięcie niekompletnych wierszy działa, gdy brakujących danych jest mało i nie są one kluczowe. Kampania e-mailowa nie ma użytku z kontaktu bez adresu: taki wiersz jest nie do odzyskania.
Delete all rows where the "email" column is empty.
Uzupełnienie wartością domyślną ma sens, gdy znasz wartość logiczną. Jeśli Twoja firma działa wyłącznie we Francji, a pole kraju było opcjonalne, brak oznacza „Francja“; pusta kwota w wierszu rabatu oznacza zero, a nie „nieznane“.
Replace missing values in "country" with "France"
and those in "amount" with 0.
Na koniec interpolacja sprawdza się w szeregach czasowych i danych ciągłych, gdzie wartość null stworzyłaby sztuczną lukę na wykresie.
For missing values in "monthly_revenue", use the average
of the previous and following months for the same customer.
Usuwanie duplikatów
Duplikaty zniekształcają wszystkie późniejsze statystyki: policzenie klienta podwaja jego wkład w przychód i sztucznie winduje jego ranking. Musisz jednak najpierw zdefiniować, co stanowi duplikat, ponieważ dwa zamówienia od tego samego klienta tego samego dnia mogą być całkowicie legitimate.
Identify and remove duplicates based on the columns
"customer_name" and "order_date". Keep the first occurrence.
Poproś ChatGPT, aby pokazał Ci affected rows przed ich usunięciem, i poświęć czas na ich przegląd: to właśnie wtedy zobaczysz, czy usuwasz prawdziwy duplikat z importu, czy genuine drugie zamówienie.
Standaryzacja formatów
Daty to pierwsza przeszkoda. Plik zasilany z wielu źródeł często zawiera „15/03/2026“, „2026-03-15“ i „15 March 2026“, których pandas nie potrafi razem posortować: Twój miesięczny wykres pozostanie niemy, dopóki tego nie rozwiążesz.
Convert all dates in the "purchase_date" column
to YYYY-MM-DD format and flag those that cannot be converted.
Tekst sprawia bardziej podstępne trudności, ponieważ pozostaje czytelny dla ludzkiego oka. „Paris“, „PARIS“ i „paris“ liczą się jako trzy różne miasta; spacja na końcu po „Lyon “ tworzy czwarte; „Saint-Étienne“ kontra „St Etienne“ dzieli sprzedaż regionalną na dwie linie, z których żadna nie jest poprawna.
Normalize the "city" column: capitalize the first letter,
remove extra spaces, and group variants
(Saint/St, missing hyphens).
Wreszcie, liczby często przychodzą sformatowane do wyświetlania, a nie do obliczeń. Dopóki kolumna zawiera „1,250.50 €“, żadne sumowanie nie jest możliwe.
The "price" column contains values like "1,250.50 €".
Convert it to a decimal number (1250.50) and remove the euro symbol.
Tworzenie nowych kolumn
Transformacja to nie tylko naprawianie, to także wzbogacanie. Kolumna z datą staje się osią kwartalną do porównywania okresów; kolumna z kwotą staje się segmentem handlowym użytecznym w analizach.
Create a "quarter" column from "order_date"
and a "revenue_tier" column that categorizes revenue as:
"Small" (< 1000), "Medium" (1000-5000), "Large" (> 5000).
ChatGPT generuje odpowiedni kod pandas, używając pd.cut() lub warunków logicznych, i wykonuje go. Następnie sprawdź wynikowy rozkład: jeśli 90% klientów wpada do kategorii „Small“, Twoje progi są źle skalibrowane, a segmentacja niczego Cię nie nauczy.
Eksportowanie wyczyszczonych danych
Gdy czyszczenie zostanie zakończone, pobierz czysty plik. Przycisk pobierania, znajdujący się w prawym górnym rogu tabeli wygenerowanej przez ChatGPT, zapisuje go w formacie CSV. Dla konkretnego formatu poproś o niego:
Export the cleaned DataFrame as CSV (UTF-8, semicolon separator)
so I can download it.
Następnie otwórz plik w swoim arkuszu kalkulacyjnym i porównaj liczbę wierszy z oryginałem: odchodzisz z plikiem użytecznym gdzie indziej – w Excelu, narzędziu BI, podczas następnej sesji – bez konieczności robienia wszystkiego od nowa w przyszłym tygodniu. Zawsze pracuj na kopii i zachowuj oryginalny plik nienaruszony, aby móc w razie potrzeby cofnąć zmiany.
Twoja kolej
Twoje pierwsze czyszczenie.
- Zaimportuj kopię rzeczywistego pliku i poproś o audyt jakości
- Obsłuż brakujące wartości kolumna po kolumnie, w zależności od znaczenia pustej przestrzeni
- Zdefiniuj, co stanowi duplikat, przejrzyj affected rows, a następnie je usuń
- Ujednolić daty, miasta i kwoty
- Pobierz czysty plik i porównaj liczbę wierszy z oryginałem
Źródła oficjalne: Extracting Insights with ChatGPT Data Analysis · Data analysis with ChatGPT (Centrum Pomocy OpenAI)
Kluczowe wnioski
- Zawsze zaczynaj od audytu jakości przed analizą
- ChatGPT obsługuje brakujące wartości, duplikaty i niespójne formaty w kilku wiadomościach
- Systematycznie weryfikuj wyniki pośrednie – proś o podgląd po każdej operacji
- Wyeksportuj wyczyszczony plik, aby użyć go w innych narzędziach w razie potrzeby
- Kod Pythona jest widoczny: możesz go skopiować i wykorzystać we własnych skryptach