Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Datu attīrīšana un transformēšana

Nodarbība 3 no 14 Atjaunota 2026. gada 5. novembris Vidējs
Šajā lapā
  1. No neapstrādātiem datiem līdz izmantojamai informācijai
  2. Datu kvalitātes diagnosticēšana
  3. Trūkstošo vērtību apstrāde
  4. Dublikātu novēršana
  5. Formātu standartizēšana
  6. Jaunu kolonnu izveide
  7. Attīrīto datu eksportēšana
  8. Tava kārta
  9. Galvenās atziņas

No neapstrādātiem datiem līdz izmantojamai informācijai

Reāli dati reti ir tīri. Tajos būs dublikāti no atkārtotām importēšanām, trūkstošas vērtības, jo lauks bija neobligāts, datumu formāti, kas mainās atkarībā no tā, kurš datus ievadījis, un kolonnas, mantotas no vecām sistēmām. Pirms jebkādas analīzes veikšanas dati ir jāattīra. Ilgu laiku šis solis bija visnepateicīgākā darba daļa. ChatGPT to pārvērš sarunā: tu apraksti problēmu, tas ģenerē attīrīšanas kodu, izpilda to un parāda rezultātu pārbaudei, pirms dodies tālāk.

Datu kvalitātes diagnosticēšana

Attīrīšana bez diagnostikas ir kā remonts ar aizsietām acīm. Katru sesiju sāc ar auditu:

Analyze the quality of this file: missing values per column,
duplicates, detected data types, and potential outliers.

Ziņojums sniedz trūkstošo vērtību procentuālo daļu pa kolonnām, dublikātu rindu skaitu, kolonnas ar neatbilstošiem tipiem (teksta un skaitļu sajaukums gandrīz vienmēr liecina par manuālu ievadi) un ekstrēmas vērtības, kas, visticamāk, ir kļūdas. Pasūtījumu failā audits var atklāt klientus bez pasta indeksiem vai pasūtījumu 950 000 € apmērā 950 € vietā. Der arī īsāks pieprasījums: „Pārbaudi šo failu: kādas biežas problēmas tu atrodi?” ChatGPT tad var ieteikt vairākus to novēršanas veidus; pirms izvēles jautā par katra sekām.

Trūkstošo vērtību apstrāde

Šī ir visbiežāk sastopamā problēma, un universāla risinājuma nav: pareizā stratēģija ir atkarīga no tā, ko konkrētajā kontekstā nozīmē tukšā vieta. Trūkstoša summa nav tas pats, kas trūkstoša e-pasta adrese.

Nepilnīgu rindu dzēšana ir piemērota, ja trūkstošo datu ir maz un tie nav kritiski. E-pasta kampaņai nav jēgas no kontakta bez adreses: šī rinda ir neatgūstama.

Delete all rows where the "email" column is empty.

Aizpildīšana ar noklusējuma vērtību ir jēdzīga, ja zini loģisko vērtību. Ja tavs uzņēmums darbojas tikai Francijā un valsts lauks bija neobligāts, trūkums nozīmē „Francija”; tukša summa atlaižu rindā nozīmē nulli, nevis „nezināms”.

Replace missing values in "country" with "France"
and those in "amount" with 0.

Visbeidzot, interpolācija ir piemērota laika rindām un nepārtrauktiem datiem, kur nulles vērtība radītu mākslīgu plaisu līknē.

For missing values in "monthly_revenue", use the average
of the previous and following months for the same customer.

Dublikātu novēršana

Dublikāti sagrozī visu turpmāko statistiku: klienta saskaitīšana divreiz dubulto viņa ieguldījumu ieņēmumos un mākslīgi paaugstina viņa rangu. Tomēr vispirms ir jādefinē, kas tiek uzskatīts par dublikātu, jo divi pasūtījumi no viena klienta tajā pašā dienā var būt likumīgi.

Identify and remove duplicates based on the columns
"customer_name" and "order_date". Keep the first occurrence.

Lūdz ChatGPT parādīt ietekmētās rindas pirms to dzēšanas un velti laiku to pārskatīšanai: tieši tad redzēsi, vai dzēs īstu importa dublikātu vai patiesu otro pasūtījumu.

Formātu standartizēšana

Datumi ir pirmais šķērslis. Failā, kas apkopots no vairākiem avotiem, bieži vien ir „15/03/2026”, „2026-03-15” un „15 March 2026”, ko pandas nevar sakārtot kopā: tava mēneša līkne paliks klusa, kamēr tas netiks atrisināts.

Convert all dates in the "purchase_date" column
to YYYY-MM-DD format and flag those that cannot be converted.

Teksts rada viltīgākas grūtības, jo tas cilvēka acij palasa lasāms. „Paris”, „PARIS” un „paris” tiek uzskatītas par trim dažādām pilsētām; atstarpe aiz „Lyon ” rada ceturto; „Saint-Étienne” pret „St Etienne” sadala tava reģiona pārdošanu divās rindās, un neviena no tām nav pareiza.

Normalize the "city" column: capitalize the first letter,
remove extra spaces, and group variants
(Saint/St, missing hyphens).

Visbeidzot, skaitļi bieži vien nonāk formatēti attēlošanai, nevis aprēķiniem. Kamēr kolonna satur „1,250.50 €”, summēšana nav iespējama.

The "price" column contains values like "1,250.50 €".
Convert it to a decimal number (1250.50) and remove the euro symbol.

Jaunu kolonnu izveide

Transformēšana nav tikai labošana; tā ir bagātināšana. Datuma kolonna kļūst par ceturkšņa asi periodu salīdzināšanai; summas kolonna kļūst par komerciālu segmentu, ko izmantot analīzēs.

Create a "quarter" column from "order_date"
and a "revenue_tier" column that categorizes revenue as:
"Small" (< 1000), "Medium" (1000-5000), "Large" (> 5000).

ChatGPT ģenerē atbilstošo pandas kodu, izmantojot pd.cut() vai loģiskus nosacījumus, un to izpilda. Tad pārbaudi iegūto sadalījumu: ja 90 % tavu klientu nonāk kategorijā „Small”, tavi sliekšņi ir slikti noregulēti un segmentācija tev neko nemācīs.

Attīrīto datu eksportēšana

Kad attīrīšana ir pabeigta, iegūsti tīro failu. Lejupielādes poga, kas atrodas ChatGPT ģenerētas tabulas augšējā labajā stūrī, saglabā to CSV formātā. Konkrētam formātam pajautā to:

Export the cleaned DataFrame as CSV (UTF-8, semicolon separator)
so I can download it.

Tad atver failu savā izklājlapu programmā un salīdzini rindu skaitu ar oriģinālu: tev ir fails, ko izmantot citur — Excel, BI rīkā, nākamajā sesijā —, nedarot visu no jauna nākamajā nedēļā. Vienmēr strādā ar kopiju un saglabā oriģinālo failu neskartu, lai vajadzības gadījumā varētu atgriezties pie sākotnējā stāvokļa.

Piecas attīrīšanas fāzes Pieci soļi: faila kvalitātes audits; trūkstošo vērtību apstrāde, balstoties uz tukšās vietas nozīmi; dublikātu definēšana un pārbaude; datumu, teksta un skaitļu standartizēšana; attīrītā faila eksportēšana. ATTĪRĪŠANA Piecas attīrīšanas fāzes 1 Audits Kvalitāte 2 Trūkstošās Balstoties uz tukšo vietu 3 Dublikāti Pārbaudīti 4 Formāti Datumi, teksts 5 Eksports Tīrs fails Strādā ar kopiju: oriģinālais fails paliek neskarts.
Lekcijas metode; anomālijas, pamatojoties uz rakstu „Extracting Insights with ChatGPT Data Analysis" no OpenAI palīdzības centra (2026. gada novembris).

Tava kārta

Tava pirmā attīrīšana.

  1. Importē reāla faila kopiju un pieprasi kvalitātes auditu
  2. Apstrādā trūkstošās vērtības kolonnu pa kolonnai, atkarībā no tā, ko nozīmē tukšā vieta
  3. Definē, kas tiek uzskatīts par dublikātu, pārbaudi ietekmētās rindas un tad dzēs tās
  4. Standartizē datumus, pilsētas un summas
  5. Lejupielādē attīrīto failu un salīdzini rindu skaitu ar oriģinālu

Oficiālie avoti: Extracting Insights with ChatGPT Data Analysis · Data analysis with ChatGPT (OpenAI Help Center)

Galvenās atziņas

  • Vienmēr sāc ar kvalitātes auditu pirms analīzes
  • ChatGPT dažu ziņojumu laikā apstrādā trūkstošās vērtības, dublikātus un neatbilstošus formātus
  • Sistemātiski pārbaudi starprezultātus — pēc katras operācijas pieprasi priekšskatījumu
  • Eksportē attīrīto failu, lai vajadzības gadījumā to izmantotu citos rīkos
  • Python kods ir redzams: tu vari to kopēt un izmantot savos skriptos