Automaatne kirjeldav statistika
Sellel lehel
Mõista oma andmeid silmapilkselt
Kirjeldav statistika on iga analüüsi alustala. Keskmised, mediaanid, standardhälbed, jaotused: need näitajad räägivad sulle, mida su andmed sisaldavad, enne kui üritad midagi selgitada. Selle sammu vahelejätmine on nagu soovituse ehitamine keskmisele, mida moonutavad kolm äärmuslikku väärtust, ja selle kaitsmine veendumusega, mida numbrid ei õigusta. ChatGPT-ga võtab see diagnoos aega ühe lause ja tõlgendus järgneb kohe.
Kiire statistiline kokkuvõte
Lihtsaim käsk alustamiseks:
Give me a complete statistical summary of this dataset.
ChatGPT tugineb üldjuhul pandas’i funktsioonile describe() ja kommenteerib tulemust. Iga arvulise veeru kohta saad järgmised näitajad:
- count — mittetühjade väärtuste arv
- mean — keskmine
- std — standardhälve (hajuvuse mõõt)
- min / max — äärmuslikud väärtused
- 25% / 50% / 75% — kvartiilid (mediaan = 50%)
Nende ridade võrdlemine annab juba palju infot. Kui count on 8400 failis, kus on 10 000 rida, puudub 16% andmetest ja ükskõik milline arvutatud keskmine kehtib vaid portfelli osa kohta. Kui keskmine erineb oluliselt mediaanist, on jaotus kaldus. Selle asemel, et teha seda peast arvutust ise, küsi lihtsalt:
Interpret these statistics: which columns have high dispersion?
Are there outliers? Which distributions appear skewed?
Statistika kategooriate kaupa
Üldised keskmised varjavad peaaegu alati erinevusi. 180-eurone keskmine ostukorv võib peita endas 900-eurost äriklientide segmenti ja 60-eurost eraisikute segmenti. Sel juhul ei kirjelda keskmine ühtegi tegelikku klienti ja sellel põhinev otsus möödub mõlemast grupist täielikult.
Calculate the mean, median, and standard deviation of order amounts
for each product category.
Sa pead ikkagi valima näitaja, mis vastab su küsimusele, sest igaüks mõõdab midagi muud.
| Näitaja | Mida mõõdab | Millal kasutada |
|---|---|---|
| Mean (Keskmine) | Tsentraalne väärtus | Sümmeetrilised andmed, äärmuslike väärtusteta |
| Median (Mediaan) | Keskmine väärtus | Kaldus andmed või andmed eranditega |
| Standard deviation (Standardhälve) | Hajuvus keskmise ümber | Tulemuslikkuse varieeruvuse hindamine |
| Mode (Mood) | Kõige sagedasem väärtus | Kategoorilised või diskreetsed andmed |
| Correlation (Korrelatsioon) | Kahe muutuja lineaarne seos | Seotud tegurite tuvastamine |
Jaotused ja sagedused
Arvulise muutuja puhul räägib jaotuse kuju rohkem kui keskmine. Histogramm näitab, kas su summad koondunud ühe väärtuse ümber või hajuvad kahe eraldiseisva tipuna, mis viitab kahe kattuva ostukäitumise olemasolule samas failis.
Show the distribution of the "order_amount" column
with a histogram and indicate whether it follows a normal distribution.
ChatGPT genereerib histogrammi ja saab rakendada normaalsustesti, nagu Shapiro-Wilki test, mis mõjutab järgnevate testide valikut. Suurte valimite puhul märgib see test isegi väikseima kõrvalekalde normaalsusest, seega kontrolli histogrammi kuju enne järelduste tegemist. Kategooriliste muutujate puhul nihkub loogika sagedustele:
What is the distribution of clients by industry sector?
Display absolute and relative frequencies.
Saad iga kategooria kohta loenduse ja protsendi – piisav, et märgata, kui üks sektor moodustab 60% portfellist, mis tähendab 60% su riskist, kui see sektor aeglustub.
Muutujatevahelised korrelatsioonid
Korrelatsioonid paljastavad seoseid su arvuliste veergude vahel ja avavad uusi analüüsivõimalusi.
Calculate the correlation matrix and identify the pairs
of variables with the highest correlations (positive and negative).
ChatGPT genereerib maatriksi, toob esile olulised korrelatsioonid ja selgitab, mida ükski neist su ärikontekstis tähendab. Tulemuste lugemisel on vaja kolme ettevaatust. Esiteks, korrelatsioon ei tähenda põhjuslikkust: reklaamieelarve ja müügi ühine tõus võib olla lihtsalt hooajalisuse ühine mõju. Teiseks, äärmuslikud väärtused moonutavad koefitsienti – küsi arvutust nii eranditega kui ka ilma; erinevus on sageli õpetlik. Lõpuks, kategoorilisi muutujaid vaikimisi ei kaasata. Kliendisegmentide või müügikanalite kaasamiseks küsi eelnevat kodeerimist. Edasi minekuks – gruppide võrdlemine t-testi või ANOVA-ga või seose modelleerimine regressiooniga – kirjelda, mida soovid mõista, küsi ChatGPT-lt sobivat tehnikat ja lase tulemust selgitada.
Erandite tuvastamine
Erand ei ole tingimata viga. 95 000-eurone tellimus võib olla sisestusviga või aasta esimene suur äriklientide leping. Käitlemine on täiesti erinev: ühel juhul parandad selle, teisel tood esile.
Identify outliers in "order_amount"
using the IQR method. List the affected rows
and indicate whether they appear to be errors or legitimate cases.
ChatGPT arvutab IQR piirid (Q1 - 1,5 * IQR ja Q3 + 1,5 * IQR) ning loetleb piiridest väljas olevad väärtused koos nende kontekstiga. Seejärel otsustad rea haaval, mitte ei viska kogu partiid minna – ja juhuslikult ei kustuta just neid kliente, kes su aasta tegid.
Kirjeldava aruande automatiseerimine
Kui oled lähenemisviisi omandanud, koonda see üheks vihjeks:
Generate a complete descriptive statistical report for this file.
Include: overview, statistics per numerical column,
distribution of categorical variables, main correlations,
detected outliers, and recommendations for the next analysis step.
See vihk toodab struktureeritud dokumendi, mille peaksid enne jagamist üle vaatama. Hoia see käepärast: igakuiselt samale ekspordile rakendatuna saab sellest su standardne lähtepunkt ja muudab perioodid võrreldavaks.
Sinu kord
Su esimene statistiline diagnoos.
- Küsi oma faili statistilist kokkuvõtet ja seejärel selle tõlgendust
- Võrdle keskmist ja mediaani oma peamises summade veerus
- Arvuta samad näitajad kategooriate kaupa
- Kuva selle veeru jaotus ja tuvasta erandid
- Liigita iga erand: viga, mida parandada, või legitiimne juhtum
Ametlikud allikad: Extracting Insights with ChatGPT Data Analysis · Data analysis with ChatGPT (OpenAI Help Center)
Peamised punktid
- Statistiline kokkuvõte on su esimene samm pärast puhastamist
- Segmenti alati kategooriate kaupa – üldkeskmised varjavad erinevusi
- Reaalsete andmete puhul on mediaan sageli usaldusväärsem kui keskmine
- Korrelatsioonid paljastavad analüüsivõimalusi, mitte kindlaid tõdesid
- Palu ChatGPT-l numbreid tõlgendada, mitte ainult arvutada