Почистване и трансформиране на данни
На тази страница
От сурови данни до приложими прозрения
Данните от реалния свят рядко са чисти. Ще откриете дубликати от двойни импорти, липсващи стойности, защото полето е било незадължително, формати на дати, които се променят в зависимост от това кой ги е въвел, и колони, наследени от остарели инструменти. Преди да можете да анализирате каквото и да е, трябва да почистите данните. Този етап отдавна е най-неблагодарната част от работата. ChatGPT го превръща в разговор: Вие описвате проблема, той генерира кода за почистване, изпълнява го и Ви показва резултата за проверка, преди да продължите.
Диагностициране на качеството на Вашите данни
Почистването без диагностика е като ремонт със завързани очи. Започвайте всяка сесия с одит:
Analyze the quality of this file: missing values per column,
duplicates, detected data types, and potential outliers.
Отчетът предоставя процента на липсващите стойности колона по колона, броя на дублираните редове, колоните с несъответстващи типове – смес от текст и числа почти винаги показва ръчно въвеждане – и екстремни стойности, които вероятно са грешки при писане. При файл с поръчки одитът може да разкрие клиенти без пощенски код или поръчка за 950 000 евро вместо за 950 евро. По-кратка подкана също работи: „Провери този файл: какви често срещани проблеми откриваш?“. След това ChatGPT може да предложи няколко начина за тяхното отстраняване; попитайте за последствията от всеки от тях, преди да изберете.
Обработка на липсващи стойности
Това е най-честият проблем и няма универсално решение: правилната стратегия зависи от това какво означава празното място във Вашия контекст. Липсваща сума не е същото като липсващ имейл адрес.
Изтриването на непълни редове работи, когато липсващите данни са малко и некритични. една имейл кампания няма полза от контакт без адрес: този ред е невъзстановим.
Delete all rows where the "email" column is empty.
Попълването със стойност по подразбиране има смисъл, когато знаете логическата стойност. Ако бизнесът Ви оперира единствено във Франция и полето за държава е било незадължително, липсата означава „Франция“; празна сума в ред за отстъпка означава нула, а не „неизвестно“.
Replace missing values in "country" with "France"
and those in "amount" with 0.
Накрая, интерполацията е подходяща за времеви редове и непрекъснати данни, където нулева стойност би създала изкуствена празнота в кривата.
For missing values in "monthly_revenue", use the average
of the previous and following months for the same customer.
Премахване на дубликати
Дубликатите изкривяват цялата последваща статистика: броенето на един клиент два пъти удвоява неговия принос към приходите и изкуствено повишава неговия ранг. Въпреки това, първо трябва да дефинирате какво представлява дубликат, тъй като две поръчки от един и същи клиент в един и същи ден могат да бъдат легитимни.
Identify and remove duplicates based on the columns
"customer_name" and "order_date". Keep the first occurrence.
Поискайте от ChatGPT да Ви покаже засегнатите редове, преди да ги премахнете, и отделете време да ги прегледате: точно тогава ще видите дали изтривате истински дубликат от импорт или реална втора поръчка.
Стандартизиране на формати
Датите са първото препятствие. Файл, захранван от множество източници, често съдържа „15/03/2026“, „2026-03-15“ и „15 March 2026“, които pandas не може да сортира заедно: Вашата месечна крива ще остане няма, докато това не се реши.
Convert all dates in the "purchase_date" column
to YYYY-MM-DD format and flag those that cannot be converted.
Текстът създава по-коварни трудности, защото остава четим за човешкото око. „Paris“, „PARIS“ и „paris“ се броят като три различни града; интервал в края след „Lyon “ създава четвърти; „Saint-Étienne“ срещу „St Etienne“ разделя регионалните Ви продажби на два реда, нито един от които не е верен.
Normalize the "city" column: capitalize the first letter,
remove extra spaces, and group variants
(Saint/St, missing hyphens).
Накрая, числата често идват форматирани за показване, а не за изчисление. Докато колоната съдържа „1,250.50 €“, никакво сумиране не е възможно.
The "price" column contains values like "1,250.50 €".
Convert it to a decimal number (1250.50) and remove the euro symbol.
Създаване на нови колони
Трансформирането не е само поправяне; то е и обогатяване. Колона с дати се превръща в тримесечна ос за сравняване на периоди; колона със суми се превръща в търговски сегмент, използваем във Вашите анализи.
Create a "quarter" column from "order_date"
and a "revenue_tier" column that categorizes revenue as:
"Small" (< 1000), "Medium" (1000-5000), "Large" (> 5000).
ChatGPT генерира съответния код на pandas, използвайки pd.cut() или логически условия, и го изпълнява. След това проверете полученото разпределение: ако 90% от клиентите Ви попадат в категория „Small“, Вашите прагове са лошо калибрирани и сегментацията няма да Ви научи на нищо.
Експортиране на почистените данни
След приключване на почистването, вземете чистия файл. Бутонът за изтегляне, разположен в горния десен ъгъл на таблица, генерирана от ChatGPT, го запазва във формат CSV. За конкретен формат, поискайте го:
Export the cleaned DataFrame as CSV (UTF-8, semicolon separator)
so I can download it.
След това отворете файла във Вашето софтуерно решение за електронни таблици и сравнете броя на редовете с оригиналния: си тръгвате с файл, usable другаде – Excel, BI инструмент, следваща сесия – без да се налага да правите всичко отново следващата седмица. Винаги работете върху копие и запазвайте оригиналния файл непокътнат, за да можете да се върнете назад, ако е необходимо.
Ваш ред е
Вашето първо почистване.
- Импортирайте копие на реален файл и поискайте одит на качеството
- Обработете липсващите стойности колона по колона, въз основа на значението на празното място
- Дефинирайте какво представлява дубликат, прегледайте засегнатите редове, след което ги премахнете
- Стандартизирайте дати, градове и суми
- Изтеглете почистения файл и сравнете броя на редовете с оригиналния
Официални източници: Extracting Insights with ChatGPT Data Analysis · Data analysis with ChatGPT (Help Center на OpenAI)
Ключови изводи
- Винаги започвайте с одит на качеството, преди да анализирате
- ChatGPT обработва липсващи стойности, дубликати и несъответстващи формати с няколко съобщения
- Систематично проверявайте междинните резултати – поискайте преглед след всяка операция
- Експортирайте почистения файл, за да го използвате повторно в други инструменти, ако е необходимо
- Кодът на Python е видим: можете да го копирате и използвате повторно във Вашите собствени скриптове