Data Cleaning en Transformatie
Op deze pagina
Van Ruwe Data naar Bruikbare Inzichten
Data uit de praktijk is zelden schoon. U treft duplicaten aan door dubbele imports, ontbrekende waarden omdat een veld optioneel was, datumnotaties die variëren afhankelijk van wie de data heeft ingevoerd, en kolommen die zijn overgeërfd van verouderde tools. Voordat u iets kunt analyseren, moet u de data opschonen. Deze stap was lang het meest ondankbare deel van het werk. ChatGPT transformeert dit in een gesprek: u beschrijft het probleem, het genereert de opschoncode, voert deze uit en toont u het resultaat ter verificatie voordat u verdergaat.
De Kwaliteit van Uw Data Diagnosticeren
Opschonen zonder diagnose is als repareren met een blinddoek op. Begin elke sessie met een audit:
Analyze the quality of this file: missing values per column,
duplicates, detected data types, and potential outliers.
Het rapport geeft het percentage ontbrekende waarden per kolom, het aantal gedupliceerde rijen, kolommen met inconsistente typen—een mix van tekst en cijfers wijst bijna altijd op handmatige invoer—en extreme waarden die waarschijnlijk typefouten zijn. Bij een bestandsbestand met orders kan de audit bijvoorbeeld klanten zonder postcode aan het licht brengen of een bestelling van € 950.000 in plaats van € 950. Een kortere prompt werkt ook: “Check this file: what common issues do you find?” ChatGPT kan vervolgens verschillende manieren suggereren om ze op te lossen; vraag naar de gevolgen van elke optie voordat u kiest.
Omgaan met Ontbrekende Waarden
Dit is het meest voorkomende probleem en er bestaat geen universele oplossing: de juiste strategie hangt af van wat de lege ruimte in uw context betekent. Een ontbrekend bedrag is niet hetzelfde als een ontbrekend e-mailadres.
Het verwijderen van onvolledige rijen werkt wanneer ontbrekende data schaars en niet-kritiek is. Een e-mailcampagne heeft niets aan een contactpersoon zonder adres: die rij is niet te redden.
Delete all rows where the "email" column is empty.
Invullen met een standaardwaarde is zinvol wanneer u de logische waarde kent. Als uw onderneming uitsluitend in Frankrijk actief is en het landveld optioneel was, betekent afwezigheid “Frankrijk”; een leeg bedrag op een kortingsregel betekent nul, niet “onbekend”.
Replace missing values in "country" with "France"
and those in "amount" with 0.
Tot slot is interpolatie geschikt voor tijdreeksen en continue data, waar een nulwaarde een kunstmatig gat in de curve zou creëren.
For missing values in "monthly_revenue", use the average
of the previous and following months for the same customer.
Duplicaten Verwijderen
Duplicaten vertekenen alle daaropvolgende statistieken: een klant twee keer tellen verdubbelt hun bijdrage aan de omzet en blaast hun ranking kunstmatig op. U moet echter eerst definiëren wat een duplicaat constitueert, aangezien twee bestellingen van dezelfde klant op dezelfde dag legitiem kunnen zijn.
Identify and remove duplicates based on the columns
"customer_name" and "order_date". Keep the first occurrence.
Vraag ChatGPT om de betreffende rijen te tonen voordat u ze verwijdert, en neem de tijd om ze te beoordelen: dit is precies het moment waarop u ziet of u een echt import-duplicaat verwijdert of een genuine tweede bestelling.
Formatten Standaardiseren
Datums zijn de eerste horde. Een bestand dat door meerdere bronnen wordt gevoed, bevat vaak “15/03/2026”, “2026-03-15” en “15 March 2026”, die pandas niet samen kan sorteren: uw maandcurve blijft stil totdat dit is opgelost.
Convert all dates in the "purchase_date" column
to YYYY-MM-DD format and flag those that cannot be converted.
Tekst vormt meer verraderlijke moeilijkheden omdat het leesbaar blijft voor het menselijk oog. “Paris”, “PARIS” en “paris” tellen als drie verschillende steden; een spatie achter “Lyon ” creëert een vierde; “Saint-Étienne” versus “St Etienne” splitst uw regionale verkoop in twee regels, waarvan geen enkele correct is.
Normalize the "city" column: capitalize the first letter,
remove extra spaces, and group variants
(Saint/St, missing hyphens).
Tot slot komen cijfers vaak geformatteerd binnen voor weergave in plaats van berekening. Zolang de kolom waarden als “1,250.50 €” bevat, is optellen onmogelijk.
The "price" column contains values like "1,250.50 €".
Convert it to a decimal number (1250.50) and remove the euro symbol.
Nieuwe Kolommen Maken
Transformatie gaat niet alleen over repareren; het gaat over verrijken. Een datumkolom wordt een kwartaalas voor het vergelijken van periodes; een bedragkolom wordt een commercieel segment dat bruikbaar is in uw analyses.
Create a "quarter" column from "order_date"
and a "revenue_tier" column that categorizes revenue as:
"Small" (< 1000), "Medium" (1000-5000), "Large" (> 5000).
ChatGPT genereert de bijbehorende pandas-code, met behulp van pd.cut() of logische voorwaarden, en voert deze uit. Controleer vervolgens de resulterende verdeling: als 90% van uw klanten in “Small” valt, zijn uw drempelwaarden slecht gekalibreerd en leert de segmentatie u niets.
Geopende Data Exporteren
Zodra het opschonen voltooid is, haalt u het schone bestand op. De downloadknop, rechtsboven in een tabel die door ChatGPT is geproduceerd, slaat deze op in CSV-formaat. Vraag voor een specifiek formaat daarom:
Export the cleaned DataFrame as CSV (UTF-8, semicolon separator)
so I can download it.
Open vervolgens het bestand in uw spreadsheetsoftware en vergelijk het aantal rijen met het origineel: u houdt een bestand over dat elders bruikbaar is—Excel, BI-tool, volgende sessie—zonder dat u de volgende week alles opnieuw hoeft te doen. Werk altijd op een kopie en houd het originele bestand intact zodat u indien nodig kunt terugvallen.
Aan de Slag
Uw eerste opschonbeurt.
- Importeer een kopie van een echt bestand en vraag een kwaliteitsaudit aan
- Handel ontbrekende waarden kolom per kolom af, gebaseerd op wat de lege ruimte betekent
- Definieer wat een duplicaat constitueert, onderzoek de betreffende rijen en verwijder ze vervolgens
- Standaardiseer datums, steden en bedragen
- Download het schone bestand en vergelijk het aantal rijen met het origineel
Officiële bronnen: Extracting Insights with ChatGPT Data Analysis · Data analysis with ChatGPT (OpenAI Help Center)
Belangrijkste punten
- Begin altijd met een kwaliteitsaudit voordat u analyseert
- ChatGPT handelt ontbrekende waarden, duplicaten en inconsistente formaten af in enkele berichten
- Verifieer systematisch tussenresultaten—vraag na elke bewerking om een voorbeeld
- Exporteer het opgeschoonde bestand om het indien nodig in andere tools te hergebruiken
- De Python-code is zichtbaar: u kunt deze kopiëren en hergebruiken in uw eigen scripts