Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

A/B-testaus ja liiketoimintamittarit

Oppitunti 12 / 16 Päivitetty 2. marraskuuta 2026 Edistynyt
Tällä sivulla
  1. Häviön tuolla puolen: Liiketoimintavaikutuksen mittaaminen
  2. A/B-testin pystyttäminen
  3. Oikeiden liiketoimintamittareiden valinta
  4. Mittausten kerääminen
  5. Tilastollisen merkitsevyyden odottaminen
  6. Asteittainen skaalautuminen
  7. Keskeiset asiat

Päivitys 2. marraskuuta 2026 — Hienosäädön saatavuus. OpenAI:n itsepalveluhienosäätö on poistumassa: 7. toukokuuta 2026 lähtien organisaatiot, jotka eivät ole koskaan käyttäneet sitä, eivät voi enää luoda tehtäviä; 2. heinäkuuta lähtien sinun on täytynyt käyttää hienosäädettyä mallia viimeisen 60 päivän aikana; ja 6. tammikuuta 2027 alkaen mikään asiakas ei voi käynnistää uusia tehtäviä. Jo koulutetut mallit pysyvät käytössä, kunnes niiden pohjamalli poistetaan käytöstä. Tämä kurssi on edelleen hyödyllinen olemassa olevan mallin ymmärtämiseen ja hyödyntämiseen; uusissa projekteissa priorisoi kehotetekniikkaa, RAG:ia ja arviointeja.

Häviön tuolla puolen: Liiketoimintavaikutuksen mittaaminen

Koulutushäviö ja laatupisteet eivät riitä. Todella merkityksellistä on hienosäädetyn mallisi vaikutus liiketoimintasi keskeisiin suorituskykyindikaattoreihin (KPI): asiakastyytyväisyys, ratkaisuaika, konversioaste. Malli voi tuottaa vastauksia, jotka tarkistajiesi mielestä ovat elegantteja, mutta samalla kasvattaa ihmisasiakkaille eskaloitujen tapausten määrää. Juuri tuo jälkimmäinen luku ratkaisee projektin tulevaisuuden, ei ensimmäinen.

A/B-testin pystyttäminen

A/B-testi vertailee kahta varianttia todellisissa olosuhteissa aidolla liikenteellä. Ryhmä A, kontrolliryhmä, saa vastaukset pohjamallilta optimoidulla kehotteellasi; ryhmä B, testiryhmä, saa vastaukset hienosäädetystä mallista. Käyttäjät jaetaan satunnaisesti molempiin ryhmiin, ja mittaat tulokset samoilla mittareilla. Koko harjoituksen pätevyys nojaa tähän jakoon: jos ryhmä B saa sattumalta vain yksinkertaisimmat pyynnöt, sen näennäinen ylivoima mittaa vain sitä onnea, ei mallin laatua.

Funktio choisir_variante ratkaisee tämän ongelman hajauttamalla käyttäjätunnuksen. Tämä lähestymistapa takaa, että sama käyttäjä näkee aina saman variantin – mikä on välttämätöntä, sillä vuorottelu istuntojen välillä altistaisi henkilön kahdelle vastaus tyylille ja vääristäisi hänen tyytyväisyysarvionsa. Se tuottaa tilastollisesti tasapainoisen jakauman, kun volyymi on riittävä, ja se pysyy toistettavana: laskennan uudelleen suorittaminen myöhemmin tuottaa täsmälleen samat ryhmät, jolloin voit laskea uudelleen unohtuneen mittarin käynnistämättä testiä alusta.

import random
import hashlib
from openai import OpenAI

client = OpenAI()

MODELE_BASE = "gpt-5.6-luna"
MODELE_FT = "ft:gpt-5.6-luna:org::suffix:xxxxxxxx"
PROMPT_BASE = "You are a professional customer support assistant..."

def choisir_variante(user_id: str, pourcentage_test: int = 50) -> str:
    """Assigns a user to group A or B deterministically."""
    h = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
    return "B" if (h % 100) < pourcentage_test else "A"

def repondre(user_id: str, question: str) -> dict:
    """Responds with the correct model based on the A/B group."""
    variante = choisir_variante(user_id)

    if variante == "A":
        response = client.responses.create(
            model=MODELE_BASE,
            instructions=PROMPT_BASE,
            input=question
        )
    else:
        response = client.responses.create(
            model=MODELE_FT,
            input=question
        )

    return {
        "variante": variante,
        "modele": MODELE_BASE if variante == "A" else MODELE_FT,
        "reponse": response.output_text,
        "user_id": user_id
    }

Oikeiden liiketoimintamittareiden valinta

Seurattavat indikaattorit riippuvat täysin siitä, mitä avustajasi on tarkoitus saada aikaan, ja jokaisella käyttötapausten perheellä on omansa.

Asiakaspalvelussa ensikontaktin ratkaisuaste vastaa konkreettisimpaan kysymykseen: joutuiko käyttäjä ottamaan yhteyttä tukeen uudelleen? CSAT-pisteet, vuorovaikutuksen jälkeen kerättävä 1–5-tyytyväisyysarvio, tallentavat tunnelmia, jotka automatisoidut mittarit eivät havaitse. Ratkaisuaika mittaa koko vaihdon kestoa, ja eskalaatioaste – ihmisen hoidettavaksi siirrettyjen keskustelujen osuus – toimii myönnytyksenä mallin epäonnistumisesta kyseisissä tapauksissa. Onnistunut hienosäätö laskee tyypillisesti molempia jälkimmäisiä samanaikaisesti.

Myyntikeskustelubotissa logiikka siirtyy alemmas virtaan. Konversioaste laskee ostoon tai tapaamiseen johtaneet keskustelut; sitoutumisaste, ilmaistuna keskimääräisenä viestien määränä keskustelua kohden, vaatii huolellista tulkintaa, sillä pidempi vaihto voi merkitä joko kiinnostusta tai väärinkäsitystä; poistumisaste eristää käyttäjät, jotka lähtevät ensimmäisen viestin jälkeen, usein siksi, että alkuvastaus osui harhaan.

Luokittelu- tai ekstraktiotehtävässä palataan klassiseen kolmikkoon. Tarkkuus antaa oikeiden luokitusten prosenttiosuuden, kattavuus todellisten positiivisten tapausten havaitsemisprosentin, ja F1-pisteet, molempien harmoninen keskiarvo, estävät tyytymästä malliin, joka ei koskaan ennusta harvinaista luokkaa vain välttääkseen virheitä.

Mittausten kerääminen

Nämä indikaattorit ovat hyödyttömiä, jos ne elävät kolmessa eri taulukkolaskentatiedostossa. Yksi kerääjä, jota syötetään jokaisessa vuorovaikutuksessa, pitää variantin mittarin rinnalla ja mahdollistaa vertailevan raportin tuottamisen yhdellä komennolla. Alla oleva ABTracker-luokka tekee tämän minimaalisen työn: se lokitiedostoi, ryhmittelee variantin mukaan ja laskee keskiarvot ja asteet.

import datetime

class ABTracker:
    """Metric collector for A/B testing."""

    def __init__(self):
        self.events = []

    def log_interaction(
        self,
        user_id: str,
        variante: str,
        question: str,
        reponse: str,
        metriques: dict
    ):
        """Records an interaction with its metrics."""
        self.events.append({
            "timestamp": datetime.datetime.now().isoformat(),
            "user_id": user_id,
            "variante": variante,
            "question": question,
            "reponse": reponse,
            **metriques
        })

    def rapport(self) -> dict:
        """Generates a comparative A vs B report."""
        groupes = {"A": [], "B": []}
        for e in self.events:
            groupes[e["variante"]].append(e)

        rapport = {}
        for variante, events in groupes.items():
            if not events:
                continue
            rapport[variante] = {
                "nb_interactions": len(events),
                "csat_moyen": self._moyenne(events, "csat"),
                "resolution_premier_contact": self._taux(events, "resolu"),
                "temps_moyen_sec": self._moyenne(events, "temps_resolution"),
            }

        return rapport

    def _moyenne(self, events, cle):
        vals = [e[cle] for e in events if cle in e and e[cle] is not None]
        return sum(vals) / len(vals) if vals else None

    def _taux(self, events, cle):
        vals = [e[cle] for e in events if cle in e]
        return sum(vals) / len(vals) * 100 if vals else None

tracker = ABTracker()

Tilastollisen merkitsevyyden odottaminen

Älä tee johtopäätöksiä liian aikaisin. Kahdenkymmenen vuorovaikutuksen jälkeen ryhmää kohden 0,4 pisteen CSAT-ero ei merkitse mitään: kolme tyytyväistä asiakasta riittää tuottamaan sen. Tarvitset tarpeeksi vuorovaikutuksia, jotta tulokset ovat merkitseviä, ja alla olevat vertailuarvot antavat suuruusluokan, johon kannattaa tähdätä ennen kuin edes katsot lukuja.

100
Minimum per group
500+
For reliable results
p < 0.05
Significance threshold

Kun saavutat tuon volyymin, tilastollinen testi päättää puolestasi. Mann-Whitneyn testi toimii hyvin tyytyväisyyspisteille, jotka ovat ordinaalisia arvioita eivätkä harvoin normaalisti jakautuneita. Sen p-arvo vastaa tarkkaan kysymykseen: mikä on todennäköisyys havaita näin suuri ero, jos kaksi mallia olisivat itse asiassa yhtä hyviä? Alle 0,05:n kohdalla pelkän sattuman hypoteesia on vaikea puolustaa.

from scipy import stats

def test_significativite(scores_a: list[float], scores_b: list[float]):
    """Tests whether the difference between A and B is significant."""
    stat, p_value = stats.mannwhitneyu(scores_a, scores_b, alternative="two-sided")

    moy_a = sum(scores_a) / len(scores_a)
    moy_b = sum(scores_b) / len(scores_b)

    print(f"Mean A: {moy_a:.3f}")
    print(f"Mean B: {moy_b:.3f}")
    print(f"p-value: {p_value:.4f}")

    if p_value < 0.05:
        gagnant = "B (fine-tuned)" if moy_b > moy_a else "A (base)"
        print(f"Significant difference — {gagnant} is better")
    else:
        print("No significant difference")

Asteittainen skaalautuminen

Jopa onnistunut testi ei oikeuta kaiken liikenteen kytkemiseen kerralla yön yli: vika, joka ilmenee vain kerran tuhannesta, jää näkymättömiin otoksessa, mutta muuttuu erittäin näkyväksi täydessä volyymissa. Etene viikon jaksoissa ja tarkista mittarisi jokaisessa vaiheessa ennen seuraavan avaamista.

  1. Vaihe 1 (1 viikko): 10 % liikenteestä hienosäädettyyn malliin
  2. Vaihe 2 (1 viikko): 30 %, jos mittarit ovat positiivisia
  3. Vaihe 3 (1 viikko): 50 % varsinaista A/B-testiä varten
  4. Vaihe 4: 100 %, jos testi on conclusive

Jos jokin vaihe heikentää mittareitasi, palaa edelliseen vaiheeseen sen sijaan, että avaisit seuraavan toivoen lukujen palautuvan itsestään. Viikko, jonka käytät syyn ymmärtämiseen, maksaa aina vähemmän kuin kuukausi liikennettä, jota palvelee pettymystä tuottava malli.

Keskeiset asiat

  • Liiketoimintamittarit ovat tärkeämpiä kuin koulutushäviö
  • Käytä determinististä hajautusta A/B-jakoon
  • Odota tilastollista merkitsevyyttä ennen johtopäätöksiä (p < 0,05)
  • Ota käyttöön asteittain: 10 %, 30 %, 50 %, 100 %
  • Mittaa kustannukset ja viive laadun lisäksi