Καθαρισμός και Μετασχηματισμός Δεδομένων
Σε αυτήν τη σελίδα
Από τα Ακατέργαστα Δεδομένα σε Δράσιμες Πληροφορίες
Τα δεδομένα του πραγματικού κόσμου σπάνια είναι καθαρά. Θα βρείτε διπλότυπα από διπλές εισαγωγές, ελλείπουσες τιμές επειδή ένα πεδίο ήταν προαιρετικό, μορφές ημερομηνιών που αλλάζουν ανάλογα με το ποιος εισήγαγε τα δεδομένα, και στήλες κληρονομημένες από παλαιά εργαλεία. Πριν αναλύσετε οτιδήποτε, πρέπει να κάνετε καθαρισμό. Αυτό το βήμα ήταν ανέκαθεν το πιο αχαρίστο κομμάτι της δουλειάς. Το ChatGPT το μετατρέπει σε συνομιλία: περιγράφετε το πρόβλημα, αυτό παράγει τον κώδικα καθαρισμού, τον εκτελεί και σας δείχνει το αποτέλεσμα για επαλήθευση πριν προχωρήσετε.
Διάγνωση της Ποιότητας των Δεδομένων σας
Ο καθαρισμός χωρίς διάγνωση είναι σαν να επισκευάζετε κάτι με δεμένα μάτια. Ξεκινήστε κάθε συνεδρία με έναν έλεγχο:
Analyze the quality of this file: missing values per column,
duplicates, detected data types, and potential outliers.
Η αναφορά παρέχει το ποσοστό των ελλειπουσών τιμών ανά στήλη, τον αριθμό των διπλότυπων γραμμών, τις στήλες με ασυνεπείς τύπους—ένα μείγμα κειμένου και αριθμών σχεδόν πάντα υποδηλώνει χειροκίνητη εισαγωγή—και τις ακραίες τιμές που πιθανότατα οφείλονται σε τυπογραφικά λάθη. Σε ένα αρχείο παραγγελιών, ο έλεγχος μπορεί να αποκαλύψει πελάτες χωρίς ταχυδρομικούς κώδικες ή μια παραγγελία για 950.000 € αντί για 950 €. Μια συντομότερη εντολή λειτουργεί επίσης: «Έλεγξε αυτό το αρχείο: ποια κοινά προβλήματα εντοπίζεις;». Το ChatGPT μπορεί στη συνέχεια να προτείνει τρόπους διόρθωσης· ρωτήστε για τις συνέπειες του κάθε τρόπου πριν επιλέξετε.
Διαχείριση Ελλειπουσών Τιμών
Αυτό είναι το πιο συχνό πρόβλημα και δεν υπάρχει μια καθολική λύση: η σωστή στρατηγική εξαρτάται από το τι σημαίνει ο κενός χώρος στο συγκεκριμένο πλαίσιο σας. Μια ελλείπουσα αξία δεν είναι το ίδιο με μια ελλείπουσα διεύθυνση email.
Η διαγραφή ελλιπών γραμμών λειτουργεί όταν τα ελλείποντα δεδομένα είναι σπάνια και μη κρίσιμα. Μια καμπάνια email δεν έχει καμία χρήση για μια επαφή χωρίς διεύθυνση: αυτή η γραμμή είναι μη ανακτήσιμη.
Delete all rows where the "email" column is empty.
Η συμπλήρωση με μια προεπιλεγμένη τιμή έχει νόημα όταν γνωρίζετε τη λογική τιμή. Εάν η επιχείρησή σας δραστηριοποιείται αποκλειστικά στη Γαλλία και το πεδίο της χώρας ήταν προαιρετικό, η απουσία σημαίνει «Γαλλία»· μια κενή αξία σε μια γραμμή έκπτωσης σημαίνει μηδέν, όχι «άγνωστο».
Replace missing values in "country" with "France"
and those in "amount" with 0.
Τέλος, η παρεμβολή ταιριάζει σε χρονοσειρές και συνεχή δεδομένα, όπου μια μηδενική τιμή θα δημιουργούσε ένα τεχνητό κενό στην καμπύλη.
For missing values in "monthly_revenue", use the average
of the previous and following months for the same customer.
Αφαίρεση Διπλοτύπων
Τα διπλότυπα στρεβλώνουν όλα τα στατιστικά στοιχεία downstream: η μέτρηση ενός πελάτη δύο φορές διπλασιάζει τη συνεισφορά του στα έσοδα και αυξάνει τεχνητά την κατάταξή του. Ωστόσο, πρέπει πρώτα να ορίσετε τι αποτελεί διπλότυπο, καθώς δύο παραγγελίες από τον ίδιο πελάτη την ίδια ημέρα μπορεί να είναι νόμιμες.
Identify and remove duplicates based on the columns
"customer_name" and "order_date". Keep the first occurrence.
Ζητήστε από το ChatGPT να σας δείξει τις επηρεαζόμενες γραμμές πριν τις αφαιρέσετε και αφιερώστε χρόνο για να τις ελέγξετε: αυτή είναι ακριβώς η στιγμή που θα δείτε αν διαγράφετε ένα πραγματικό διπλότυπο εισαγωγής ή μια γνήσια δεύτερη παραγγελία.
Τυποποίηση Μορφών
Οι ημερομηνίες είναι το πρώτο εμπόδιο. Ένα αρχείο που τροφοδοτείται από πολλαπλές πηγές συχνά περιέχει «15/03/2026», «2026-03-15» και «15 March 2026», τις οποίες το pandas δεν μπορεί να ταξινομήσει μαζί: η μηνιαία καμπύλη σας θα παραμείνει σιωπηλή μέχρι να λυθεί αυτό.
Convert all dates in the "purchase_date" column
to YYYY-MM-DD format and flag those that cannot be converted.
Το κείμενο παρουσιάζει πιο ύπουλες δυσκολίες επειδή παραμένει αναγνώσιμο στο ανθρώπινο μάτι. Το «Paris», το «PARIS» και το «paris» μετρώνται ως τρεις διαφορετικές πόλεις· ένα κενό διάστημα στο τέλος μετά το «Lyon » δημιουργεί μια τέταρτη· το «Saint-Étienne» έναντι του «St Etienne» χωρίζει τις περιφερειακές σας πωλήσεις σε δύο γραμμές, καμία από τις οποίες δεν είναι σωστή.
Normalize the "city" column: capitalize the first letter,
remove extra spaces, and group variants
(Saint/St, missing hyphens).
Τέλος, οι αριθμοί συχνά φτάνουν μορφοποιημένοι για εμφάνιση και όχι για υπολογισμό. Όσο η στήλη περιέχει «1,250.50 €», κανένας αθροισμός δεν είναι δυνατός.
The "price" column contains values like "1,250.50 €".
Convert it to a decimal number (1250.50) and remove the euro symbol.
Δημιουργία Νέων Στηλών
Ο μετασχηματισμός δεν αφορά μόνο τη διόρθωση· αφορά τον εμπλουτισμό. Μια στήλη ημερομηνιών γίνεται ένας άξονας τριμήνων για τη σύγκριση περιόδων· μια στήλη αξιών γίνεται ένα εμπορικό τμήμα usable στις αναλύσεις σας.
Create a "quarter" column from "order_date"
and a "revenue_tier" column that categorizes revenue as:
"Small" (< 1000), "Medium" (1000-5000), "Large" (> 5000).
Το ChatGPT παράγει τον αντίστοιχο κώδικα pandas, χρησιμοποιώντας το pd.cut() ή λογικές συνθήκες, και τον εκτελεί. Στη συνέχεια, ελέγξτε την προκύπτουσα κατανομή: εάν το 90% των πελατών σας εμπίπτει στο «Small», τα κατώφλιά σας είναι κακώς βαθμονομημένα και η τμηματοποίηση δεν θα σας διδάξει τίποτα.
Εξαγωγή Καθαρισμένων Δεδομένων
Μόλις ολοκληρωθεί ο καθαρισμός, ανακτήστε το καθαρό αρχείο. Το κουμπί λήψης, που βρίσκεται πάνω δεξιά σε έναν πίνακα που παρήγαγε το ChatGPT, το αποθηκεύει σε μορφή CSV. Για μια συγκεκριμένη μορφή, ζητήστε την:
Export the cleaned DataFrame as CSV (UTF-8, semicolon separator)
so I can download it.
Στη συνέχεια, ανοίξτε το αρχείο στο λογισμικό υπολογιστικών φύλλων σας και συγκρίνετε τον αριθμό των γραμμών με το πρωτότυπο: αποχωρείτε με ένα αρχείο usable αλλού—Excel, εργαλείο BI, επόμενη συνεδρία—χωρίς να χρειάζεται να ξανακάνετε τα πάντα την επόμενη εβδομάδα. Εργάζεστε πάντα σε ένα αντίγραφο και διατηρείτε το αρχικό αρχείο άθικτο ώστε να μπορείτε να επανέλθετε εάν χρειαστεί.
Η Σειρά σας
Ο πρώτος σας καθαρισμός.
- Εισαγάγετε ένα αντίγραφο ενός πραγματικού αρχείου και ζητήστε έλεγχο ποιότητας
- Διαχειριστείτε τις ελλείπουσες τιμές στήλη προς στήλη, βάσει του τι σημαίνει ο κενός χώρος
- Ορίστε τι αποτελεί διπλότυπο, εξετάστε τις επηρεαζόμενες γραμμές και στη συνέχεια αφαιρέστε τες
- Τυποποιήστε ημερομηνίες, πόλεις και ποσά
- Κατεβάστε το καθαρό αρχείο και συγκρίνετε τον αριθμό των γραμμών με το πρωτότυπο
Επίσημες πηγές: Extracting Insights with ChatGPT Data Analysis · Data analysis with ChatGPT (Κέντρο Βοήθειας OpenAI)
Βασικά σημεία
- Ξεκινάτε πάντα με έναν έλεγχο ποιότητας πριν την ανάλυση
- Το ChatGPT διαχειρίζεται ελλείπουσες τιμές, διπλότυπα και ασυνεπείς μορφές σε λίγα μηνύματα
- Επαληθεύετε συστηματικά τα ενδιάμεσα αποτελέσματα—ζητήστε μια προεπισκόπηση μετά από κάθε λειτουργία
- Εξάγετε το καθαρισμένο αρχείο για να το επαναχρησιμοποιήσετε σε άλλα εργαλεία εάν χρειάζεται
- Ο κώδικας Python είναι ορατός: μπορείτε να τον αντιγράψετε και να τον επαναχρησιμοποιήσετε στα δικά σας scripts