Statistikas aprakstošās analīzes automatizēšana
Šajā lapā
Izprast savus datus acumirklī
Aprakstošā statistika ir jebkuras analīzes pamats. Vidējā vērtība, mediāna, standartnovirze, sadalījums: šie rādītāji pastāsta, ko tavi dati satur, vēl pirms tu mēģini kaut ko skaidrot. Šī soļa izlaišana ir līdzīga ieteikuma būvei uz vidējā rādītāja, ko sagrozījušas trīs ekstrēmas vērtības, un tā aizstāvēšanai ar pārliecību, ko skaitļi nepelna. Izmantojot ChatGPT, šī diagnostika aizņem tikai vienu teikumu, un interpretācija seko uzreiz.
Ātrā statistikas kopsavilkuma izveide
Vienkāršākā komanda, lai sāktu:
Give me a complete statistical summary of this dataset.
ChatGPT parasti paļaujas uz pandas funkciju describe() un komentē rezultātu. Katrai skaitliskajai kolonnai tu saņem šādus rādītājus:
- count — nepilno vērtību skaits
- mean — vidējā vērtība
- std — standartnovirze (izkliedes mērs)
- min / max — ekstrēmās vērtības
- 25% / 50% / 75% — kvartiļi (mediāna = 50%)
Šo rindu salīdzināšana jau sniedz ieskatu. Ja count ir 8400 failā ar 10 000 rindām, tad 16 % datu trūkst, un jebkurš aprēķinātais vidējais rādītājs attiecas tikai uz daļu no portfeļa. Ja vidējā vērtība būtiski atšķiras no mediānas, sadalījums ir asimetrisks. Tā vietā, lai veiktu šos aprēķinus prātā, vienkārši pajautā:
Interpret these statistics: which columns have high dispersion?
Are there outliers? Which distributions appear skewed?
Statistika pa kategorijām
Vispārīgie vidējie rādītāji gandrīz vienmēr noslēpj atšķirības. Vidējais groza apjoms 180 € apmērā var slēpt uzņēmumu segmentu ar 900 € un privātpersonu segmentu ar 60 €. Šādā gadījumā vidējais rādītājs neapraksta nevienu reālu klientu, un jebkurš uz to balstīts lēmums pilnībā garām iet abām populācijām.
Calculate the mean, median, and standard deviation of order amounts
for each product category.
Tev joprojām ir jāizvēlas rādītājs, kas atbild uz tavu jautājumu, jo katrs mēra kaut ko citu.
| Rādītājs | Ko tas mēra | Kad to lietot |
|---|---|---|
| Mean | Centrālā vērtība | Simetriski dati bez ekstrēmām vērtībām |
| Median | Vidējā vērtība | Asimetriski dati vai dati ar izņēmumiem |
| Standard deviation | Izkliede ap vidējo vērtību | Veiktspējas mainīguma novērtēšanai |
| Mode | Biežāk sastopamā vērtība | Kategoriski vai diskrēti dati |
| Correlation | Lineāra sakarība starp diviem mainīgajiem | Saistīto faktoru identificēšanai |
Sadalījumi un biežumi
Skaitliskam mainīgajam sadalījuma forma pastāsta vairāk nekā vidējā vērtība. Histogramma parāda, vai tavas summas grupējas ap vienu vērtību vai izklīst divos atšķirīgos pīķos, kas liecina par divu pārklājušos pirkšanas uzvedību vienā failā.
Show the distribution of the "order_amount" column
with a histogram and indicate whether it follows a normal distribution.
ChatGPT ģenerē histogrammu un var piemērot normalitātes testu, piemēram, Šapiro-Vilka testu, kas ietekmē turpmāko testu izvēli. Lieliem paraugiem šis tests atzīmē pat vismazākās novirzes no normalitātes, tāpēc pirms secinājumu izdarīšanas pārbaudi histogrammas formu. Kategoriskiem mainīgajiem loģika pāriet uz biežumiem:
What is the distribution of clients by industry sector?
Display absolute and relative frequencies.
Tu saņem katras kategorijas skaitu un procentuālo daļu — pietiekami, lai pamanītu, ka viens sektors veido 60 % no portfeļa, kas nozīmē 60 % no tava riska, ja šis sektors palēninās.
Mainīgo lielumu korelācijas
Korelācijas atklāj saistības starp taviem skaitliskajiem kolonnu datiem un paver jaunus analīzes ceļus.
Calculate the correlation matrix and identify the pairs
of variables with the highest correlations (positive and negative).
ChatGPT ģenerē matricu, izceļ nozīmīgas korelācijas un paskaidro, ko katra nozīmē tavā biznesa kontekstā. Lasot rezultātus, nepieciešami trīs piesardzības pasākumi. Pirmkārt, korelācija nenozīmē cēlonību: reklāmas budžeta un pārdošanas apjomu vienlaicīgs pieaugums var būt tikai sezonalitātes kopēja ietekme. Otrkārt, ekstrēmas vērtības sagrozī koeficientu — pieprasi aprēķinu gan ar izņēmumiem, gan bez tiem; atšķirība bieži vien ir pamācoša. Visbeidzot, kategoriskie mainīgie pēc noklusējuma netiek iekļauti. Lai iekļautu klientu segmentus vai pārdošanas kanālus, pieprasi iepriekšēju kodēšanu. Lai dotos tālāk — salīdzinātu grupas, izmantojot t-testu vai ANOVA, vai modelētu sakarību ar regresiju — apraksti, ko vēlies saprast, pajautā ChatGPT par atbilstošo tehniku un liec tai izskaidrot rezultātu.
Izņēmumu (outlier) noteikšana
Izņēmums ne vienmēr ir kļūda. Pasūtījums 95 000 € apmērā var būt datu ievades kļūda vai gada pirmais lielais uzņēmuma līgums. Rīcība šajos gadījumos ir pilnīgi atšķirīga: vienā gadījumā tu to labo, otrā — izceļ.
Identify outliers in "order_amount"
using the IQR method. List the affected rows
and indicate whether they appear to be errors or legitimate cases.
ChatGPT aprēķina IQR robežas (Q1 - 1,5 * IQR un Q3 + 1,5 * IQR) un uzskaita vērtības ārpus šīm robežām kopā ar to kontekstu. Tad tu lemj par katru rindu atsevišķi, nevis izmet visu kopu — un nejauši neizdzēs tieši tos klientus, kuri nodrošināja tavu gada panākumu.
Aprakstošā ziņojuma automatizēšana
Kad esi apguvis pieeju, apkopo to vienā promptā:
Generate a complete descriptive statistical report for this file.
Include: overview, statistics per numerical column,
distribution of categorical variables, main correlations,
detected outliers, and recommendations for the next analysis step.
Šis prompts ģenerē strukturētu dokumentu, kas tev jāpārskata pirms kopīgošanas. Glabā to pa rokai: piemērojot to vienai un tai pašai eksporta failam katru mēnesi, tas kļūst par tavu standarta sākumpunktu un ļauj salīdzināt periodus.
Tava kārta
Tava pirmā statistikas diagnostika.
- Pieprasi sava faila statistikas kopsavilkumu un tā interpretāciju
- Salīdzini vidējo vērtību un mediānu savā galvenajā summu kolonnā
- Aprēķini tos pašus rādītājus pa kategorijām
- Parādi šīs kolonnas sadalījumu un identificē izņēmumus
- Klasificē katru izņēmumu: kļūda, kas jālabo, vai likumīgs gadījums
Oficiālie avoti: Extracting Insights with ChatGPT Data Analysis · Data analysis with ChatGPT (OpenAI Help Center)
Galvenās atziņas
- Statistikas kopsavilkums ir tavs pirmais solis pēc datu attīrīšanas
- Vienmēr veic segmentāciju pa kategorijām — vispārīgie vidējie rādītāji noslēpj atšķirības
- Reāliem datiem mediāna bieži vien ir uzticamāka nekā vidējā vērtība
- Korelācijas atklāj analīzes ceļus, nevis certitudes
- Lūdz ChatGPT interpretēt skaitļus, nevis tikai tos aprēķināt