Automatinė aprašomoji statistika
Šiame puslapyje
Supraskite savo duomenis akimirksniu
Aprašomoji statistika yra bet kokios analizės pagrindas. Vidurkis, mediana, standartinis nuokrypis, pasiskirstymas – šie rodikliai jums pasako, ką turi jūsų duomenys, dar prieš bandydami ką nors paaiškinti. Šio žingsnio praleidimas yra lyg rekomendacijos kūrimas remiantis vidurkiu, kuris iškraipytas trijų ekstremalių verčių, ir jo gynimas tokiu įsitikinimu, kurio skaičiai nepateisina. Naudodami „ChatGPT“ šią diagnozę atliksite vienu sakiniu, o interpretaciją gausite iškart.
Greita statistinė santrauka
Paprastiausia komanda pradėti:
Give me a complete statistical summary of this dataset.
„ChatGPT“ dažniausiai remiasi „pandas“ funkcija describe() ir komentuoja rezultatą. Kiekvienam skaitiniam stulpeliui gausite šiuos rodiklius:
- count – netuščių reikšmių skaičius
- mean – vidurkis
- std – standartinis nuokrypis (išsibarstymo matas)
- min / max – ekstremalios reikšmės
- 25% / 50% / 75% – kvartiliai (mediana = 50%)
Jau vien šių eilučių palyginimas daug ką pasako. Jei count yra 8 400, o faile yra 10 000 eilučių, trūksta 16 % duomenų, todėl bet koks apskaičiuotas vidurkis taikomas tik daliai portfelio. Jei vidurkis smarkiai skiriasi nuo medianos, pasiskirstymas yra asimetriškas. Užuot atlikę šiuos skaičiavimus galvoje patys, tiesiog paklauskite:
Interpret these statistics: which columns have high dispersion?
Are there outliers? Which distributions appear skewed?
Statistika pagal kategorijas
Bendri vidurkiai beveik visada maskuoja skirtumus. Vidutinis 180 EUR krepšelis gali slėpti 900 EUR įmonių segmentą ir 60 EUR privačių asmenų segmentą. Tokiu atveju vidurkis neapibūdina nė vieno realaus kliento, o bet koks sprendimas, pagrįstas juo, visiškai praleidžia abi šias grupes.
Calculate the mean, median, and standard deviation of order amounts
for each product category.
Vis tiek turite pasirinkti rodiklį, kuris atsako į jūsų klausimą, nes kiekvienas iš jų matuoja ką nors skirtingo.
| Rodiklis | Ką matuoja | Kada naudoti |
|---|---|---|
| Vidurkis | Centrinė vertė | Simetriškiems duomenims, be ekstremalių verčių |
| Mediana | Vidurinė vertė | Asimetriškiems duomenims arba duomenims su выбросами |
| Standartinis nuokrypis | Išsibarstymas aplink vidurkį | Veiklos kintamumui įvertinti |
| Moda | Dažniausiai pasikartojanti vertė | Kategoriniams arba diskretiškiems duomenims |
| Koreliacija | Tiesinis ryšys tarp dviejų kintamųjų | Susijusiems veiksniams nustatyti |
Pasiskirstymai ir dažniai
Skaitiniam kintamajam pasiskirstymo forma pasako daugiau nei vidurkis. Histograma parodo, ar jūsų sumos grupuojasi aplink vieną reikšmę, ar išsisklaido į dvi atskiras viršūnes, o tai rodo du persidengiančius pirkimo elgsenos modelius tame pačiame faile.
Show the distribution of the "order_amount" column
with a histogram and indicate whether it follows a normal distribution.
„ChatGPT“ sugeneruoja histogramą ir gali taikyti normalumo testą, pavyzdžiui, Shapiro-Wilk testą, kuris daro įtaką vėlesnių testų pasirinkimui. Didelėse imtyse šis testas fiksuoja net menkiausius nukrypimus nuo normalumo, todėl prieš darydami išvadas patikrinkite histogramos formą. Kategoriniams kintamiesiems logika keičiasi į dažnius:
What is the distribution of clients by industry sector?
Display absolute and relative frequencies.
Gausite kiekvienos kategorijos skaičių ir procentinę dalį – to pakanka pastebėti, kad vienas sektorius sudaro 60 % portfelio, o tai reiškia, jog 60 % jūsų rizikos tenka šiam sektoriui, jei jis sulėtės.
Kintamųjų koreliacijos
Koreliacijos atskleidžia ryšius tarp jūsų skaitinių stulpelių ir atveria naujas analizės kryptis.
Calculate the correlation matrix and identify the pairs
of variables with the highest correlations (positive and negative).
„ChatGPT“ sugeneruoja matricą, paryškina reikšmingas koreliacijas ir paaiškina, ką kiekviena iš jų reiškia jūsų verslo kontekste. Skaitant rezultatus būtina laikytis trijų atsargumo priemonių. Pirma, koreliacija nereiškia priežastinio ryšio: bendras reklamos biudžeto ir pardavimų augimas gali būti tiesiog bendras sezoniškumo padarinys. Antra, ekstremalios reikšmės iškraipo koeficientą – paprašykite apskaičiuoti su jomis ir be jų; skirtumas dažnai būna pamokantis. Galiausiai, kategoriniai kintamieji pagal nutylėjimą neįtraukiami. Norėdami įtraukti klientų segmentus arba pardavimo kanalus, paprašykite išankstinio kodavimo. Norėdami eiti toliau – palyginti grupes naudojant t-testą arba ANOVA, arba modeliuoti ryšį naudojant regresiją – aprašykite, ką norite suprasti, paprašykite „ChatGPT“ parinkti tinkamą techniką ir paprašykite paaiškinti rezultatą.
Išskirčių nustatymas
Išskirtis nebūtinai yra klaida. 95 000 EUR užsakymas gali būti duomenų įvedimo klaida arba pirmasis didelis metų įmonių kontraktas. Veiksmai šiais atvejais visiškai skiriasi: vienu atveju ją taisote, kitu – iškeliate.
Identify outliers in "order_amount"
using the IQR method. List the affected rows
and indicate whether they appear to be errors or legitimate cases.
„ChatGPT“ apskaičiuoja IQR ribas (Q1 - 1,5 * IQR ir Q3 + 1,5 * IQR) ir išvardija už ribų esančias reikšmes su jų kontekstu. Tada sprendžiate eilutė po eilutės, o ne išmetate visą partiją – ir netyčia neištrinate būtent tų klientų, kurie lėmė jūsų metų sėkmę.
Aprašomosios ataskaitos automatizavimas
Kai įvaldysite šį metodą, sutraukite jį į vieną užklausą:
Generate a complete descriptive statistical report for this file.
Include: overview, statistics per numerical column,
distribution of categorical variables, main correlations,
detected outliers, and recommendations for the next analysis step.
Ši užklausa sukuria struktūruotą dokumentą, kurį prieš dalindamiesi turėtumėte peržiūrėti. Laikykite jį po ranka: taikomas tam pačiam eksportui kiekvieną mėnesį, jis tampa jūsų standartine pradine tašku ir leidžia palyginti laikotarpius.
Jūsų eilė
Jūsų pirmoji statistinė diagnozė.
- Paprašykite failo statistinės santraukos, tada jos interpretacijos
- Palyginkite vidurkį ir medianą savo pagrindiniame sumų stulpelyje
- Apskaičiuokite tuos pačius rodiklius pagal kategorijas
- Parodykite šio stulpelio pasiskirstymą ir nustatykite išskirtis
- Klasifikuokite kiekvieną išskirtį: klaida, kurią reikia taisyti, ar teisėtas atvejis
Oficialūs šaltiniai: Extracting Insights with ChatGPT Data Analysis · Data analysis with ChatGPT (OpenAI Help Center)
Svarbiausi punktai
- Statistinė santrauka yra jūsų pirmas žingsnis po duomenų valymo
- Visada segmentuokite pagal kategorijas – bendri vidurkiai slepia skirtumus
- Realiais duomenimis mediana dažnai yra patikimesnė nei vidurkis
- Koreliacijos atveria analizės kryptis, o ne garantuoja certinumą
- Paprašykite „ChatGPT“ interpretuoti skaičius, o ne tik juos apskaičiuoti