Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

CI/CD για την Τεχνητή Νοημοσύνη: Αυτοματοποιημένες Αξιολογήσεις

Μάθημα 18 / 20 Ενημερώθηκε 3 Νοεμβρίου 2026 Προχωρημένος
Σε αυτήν τη σελίδα
  1. Ενσωμάτωση των Αξιολογήσεων στον Αγωγό CI/CD σας
  2. Η Αρχή: Ένα Στάδιο Ελέγχου, Όχι Μια Αναφορά
  3. Σύνδεση Όλων στα GitHub Actions
  4. Συγκρίνετε Αντί να Κρίνετε με Απόλυτους Όρους
  5. Βασικά σημεία

Μάθημα ενημερώθηκε στις 3 Νοεμβρίου 2026 με βάση την τεκμηρίωση της OpenAI: οι παράμετροι temperature και top_p γίνονται δεκτές μόνο με προσπάθεια συλλογισμού (reasoning effort) ίση με none, ενώ τα μοντέλα GPT-5.6 κάνουν συλλογισμό από προεπιλογή (medium). Επομένως, οι κλήσεις που ορίζουν αυτές τις παραμέτρους πρέπει να καθορίζουν reasoning={"effort": "none"} (Responses API) ή reasoning_effort="none" (Chat Completions). Πηγές: Using GPT-6 · GPT-5.6 Terra.

Ενσωμάτωση των Αξιολογήσεων στον Αγωγό CI/CD σας

Η ανάπτυξη μιας αλλαγής prompt στην παραγωγή χωρίς αξιολόγηση είναι σαν να αναπτύσσετε κώδικα χωρίς tests. Η σύγκριση είναι πιο ακριβής από ό,τι φαίνεται: και στις δύο περιπτώσεις, η αλλαγή φαίνεται τετριμμένη, επαληθεύτηκε χειροκίνητα σε ένα ή δύο παραδείγματα, και η παρενέργεια εμφανίζεται τρεις μέρες αργότερα για έναν χρήστη που δεν θα σας το πει. Η διαφορά είναι ότι μια παλινδρόμηση στο prompt δεν προκαλεί εξαίρεση· η εφαρμογή συνεχίζει να απαντά, απλώς χειρότερα.

Ο στόχος είναι να καταστήσετε την αυτοματοποιημένη αξιολόγηση υποχρεωτικό στάδιο (gate) στη διαδικασία ανάπτυξής σας, διασφαλίζοντας ότι κάθε αλλαγή διατηρεί ή βελτιώνει την ποιότητα. Αυτό ακριβώς θα καλύψουμε στη συνέχεια.

Η Αρχή: Ένα Στάδιο Ελέγχου, Όχι Μια Αναφορά

Ο αγωγός αξιολόγησης (eval pipeline) ενσωματώνεται στη ροή ανάπτυξής σας χρησιμοποιώντας έναν οικείο μηχανισμό. Ένας προγραμματιστής τροποποιεί ένα prompt ή μια παράμετρο, το commit ενεργοποιεί τον αγωγό CI και οι αξιολογήσεις εκτελούνται αυτόματα έναντι του συνόλου δεδομένων αναφοράς. Εάν οι βαθμολογίες πληρούν τα κατώφλια, η ανάπτυξη συνεχίζεται· διαφορετικά, μπλοκάρεται, με μια λεπτομερή αναφορά που υποδεικνύει ποια αξιολόγηση απέτυχε και κατά πόσο.

Το κρίσιμο σημείο είναι η συμπεριφορά αποκλεισμού. Ένα CI που παράγει μια ωραία αναφορά χωρίς να σταματά τον αγωγό γίνεται ένα artifact που κανείς δεν ελέγχει μετά από δύο εβδομάδες. Μόνο ένας κωδικός εξόδου διαφορετικός του μηδέν μετατρέπει τη μέτρηση σε δικλείδα ασφαλείας.

Το παρακάτω σενάριο διαβάζει μια διαμόρφωση, φορτώνει κάθε σύνολο δεδομένων, εκτελεί τις περιπτώσεις και συγκρίνει τον μέσο όρο βαθμολογίας με το δηλωμένο κατώφλι. Η μέθοδος βαθμολόγησης—απλή inclusion λέξεων-κλειδιών—είναι σκόπιμα πρωτόγονη: ένας έλεγχος CI πρέπει να είναι γρήγορος, ντετερμινιστικός και ανεξάρτητος από έναν κριτή του οποίου η βαθμολογία μπορεί να διαφέρει από τη μία εκτέλεση στην άλλη.

import json
import sys
import openai
from pathlib import Path

client = openai.OpenAI()

def load_eval_config(path: str = "evals/config.json") -> dict:
    """Loads the evaluation configuration."""
    with open(path) as f:
        return json.load(f)

def load_dataset(path: str) -> list[dict]:
    """Loads a JSONL dataset."""
    cases = []
    with open(path) as f:
        for line in f:
            cases.append(json.loads(line))
    return cases

def run_ci_evals(config: dict) -> dict:
    """Runs evaluations for CI."""
    results = {}

    for eval_config in config["evaluations"]:
        name = eval_config["name"]
        dataset = load_dataset(eval_config["dataset"])
        threshold = eval_config["min_threshold"]
        model = eval_config["model"]
        prompt = Path(eval_config["prompt_file"]).read_text()

        scores = []
        for case in dataset:
            response = client.responses.create(
                model=model,
                reasoning={"effort": "none"},  # temperature requires effort none
                instructions=prompt,
                input=case["input"],
                temperature=0.0,
            )

            # Simple evaluation by keyword inclusion
            if "keywords" in case:
                response_lower = response.output_text.lower()
                found = sum(
                    1 for word in case["keywords"]
                    if word.lower() in response_lower
                )
                score = found / len(case["keywords"])
            else:
                score = 1.0  # No specific criterion

            scores.append(score)

        avg_score = sum(scores) / len(scores)
        passed = avg_score >= threshold

        results[name] = {
            "score": avg_score,
            "threshold": threshold,
            "passed": passed,
            "num_cases": len(dataset),
        }

    return results

def ci_report(results: dict) -> tuple[str, bool]:
    """Generates a report for CI and indicates if it's OK."""
    lines = ["# AI Evaluation Report\n"]
    all_pass = True

    for name, r in results.items():
        status = "PASS" if r["passed"] else "FAIL"
        if not r["passed"]:
            all_pass = False
        lines.append(
            f"- [{status}] {name}: {r['score']:.2%} "
            f"(threshold: {r['threshold']:.0%}, {r['num_cases']} cases)"
        )

    report = "\n".join(lines)
    return report, all_pass

Παρατηρήστε ότι το prompt διαβάζεται από ένα αρχείο αντί να γράφεται απευθείας στο σενάριο. Αυτό είναι που καθιστά δυνατή την ενεργοποίηση: μια εκδοχή prompt σε έλεγχο έκδοσης στο αποθετήριο παράγει ένα diff, και ένα diff μπορεί να ενεργοποιήσει μια αξιολόγηση. Όσο τα prompts σας ζουν ως string literals διάσπαρτα στον κώδικα της εφαρμογής σας, η σωστή αυτοματοποίηση δεν είναι δυνατή.

Η διαμόρφωση δηλώνει μία αξιολόγηση ανά εργασία, η καθεμία με το δικό της κατώφλι.

{
  "evaluations": [
    {
      "name": "ticket-classification",
      "dataset": "evals/datasets/classification.jsonl",
      "prompt_file": "prompts/classification.txt",
      "model": "gpt-5.6-terra",
      "min_threshold": 0.90
    },
    {
      "name": "resume-generation",
      "dataset": "evals/datasets/resumes.jsonl",
      "prompt_file": "prompts/resume.txt",
      "model": "gpt-5.6-terra",
      "min_threshold": 0.75
    }
  ]
}

Το χάσμα μεταξύ αυτών των δύο κατωφλίων είναι η καρδιά της μεθόδου. Η ταξινόμηση εισιτηρίων είναι μια κλειστή εργασία: κάτω από 0,90, η λειτουργία δεν παρέχει την αναμενόμενη υπηρεσία. Η σύνοψη είναι μια ανοιχτή εργασία, κρίνεται με βάση λέξεις-κλειδιά που ένα καλό κείμενο θα μπορούσε νομίμως να διατυπώσει διαφορετικά· η απαίτηση 0,90 θα μπλόκαρε κάθε ανάπτυξη και γρήγορα θα οδηγούσε στην απενεργοποίηση του ελέγχου. Βαθμονομήστε κάθε κατώφλι με βάση τις βαθμολογίες που παρατηρούνται στην παραγωγή και όχι σε έναν στρογγυλό αριθμό που φαίνεται καθησυχαστικός.

Σύνδεση Όλων στα GitHub Actions

Η ροή εργασίας ενεργοποιείται μόνο σε σχετικές διαδρομές—prompts, evals, κώδικας ενσωμάτωσης AI—ώστε μια αλλαγή σε φύλλο στυλ να μην καταναλώνει κλήσεις API.

# .github/workflows/eval-ai.yml
name: AI Evaluation

on:
  pull_request:
    paths:
      - "prompts/**"
      - "evals/**"
      - "src/ai/**"

jobs:
  evaluate:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4

      - uses: actions/setup-python@v5
        with:
          python-version: "3.12"

      - run: pip install openai

      - name: Run evals
        env:
          OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
        run: python evals/run_ci.py

      - name: Publish report
        if: always()
        uses: actions/upload-artifact@v4
        with:
          name: eval-report
          path: evals/report.md

Δύο λεπτομέρειες αξίζουν προσοχής. Το κλειδί API περνά μέσω των μυστικών του αποθετηρίου, ποτέ μέσω του αρχείου ροής εργασίας, το οποίο είναι αναγνώσιμο από οποιονδήποτε έχει πρόσβαση στον κώδικα. Και η δημοσίευση της αναφοράς χρησιμοποιεί if: always(), διαφορετικά το artifact δεν θα παραγόταν όταν οι αξιολογήσεις αποτύχουν—που είναι ακριβώς η μόνη περίπτωση όπου χρειάζεται να το διαβάσετε.

Το κεντρικό σενάριο τα συνδέει όλα: γράφει την αναφορά στον δίσκο για το artifact, την εκτυπώνει στα logs και ορίζει τον κωδικό εξόδου που επιτρέπει ή μπλοκάρει το υπόλοιπο του αγωγού.

#!/usr/bin/env python3
"""Evaluation script for CI — evals/run_ci.py"""

import sys
from pathlib import Path

def main():
    config = load_eval_config("evals/config.json")
    results = run_ci_evals(config)
    report, all_pass = ci_report(results)

    # Write the report
    Path("evals/report.md").write_text(report)
    print(report)

    # Exit code for CI
    if not all_pass:
        print("\nSome evaluations failed. Deployment blocked.")
        sys.exit(1)
    else:
        print("\nAll evaluations pass.")
        sys.exit(0)

if __name__ == "__main__":
    main()

Συγκρίνετε Αντί να Κρίνετε με Απόλυτους Όρους

Ένα σταθερό κατώφλι απαντά στην ερώτηση «Είναι αυτό αρκετά καλό;». Δεν απαντά στην ερώτηση «Είναι αυτό καλύτερο από πριν;», που είναι συχνά το πραγματικό ερώτημα. Ένα ξαναγραμμένο prompt μπορεί να παραμείνει πάνω από το κατώφλι χάνοντας όμως τρεις πόντους σε σχέση με την προηγούμενη έκδοση: το CI γίνεται πράσινο και η υποβάθμιση μπαίνει στην παραγωγή χωρίς κανείς να το προσέξει.

Επομένως, το test παλινδρόμησης εκτελεί και τις δύο εκδόσεις στο ίδιο σύνολο δεδομένων, στην ίδια καμπάνια, και συγκρίνει τους μέσους όρους. Μια ανοχή 5% απορροφά τον θόρυβο που είναι εγγενής στις γενετικές εξόδους· πέρα από αυτό, η ετυμηγορία είναι ρητή.

def prompt_regression_test(
    current_prompt: str,
    previous_prompt: str,
    dataset: list[dict],
    model: str,
    degradation_threshold: float = 0.05,
) -> dict:
    """Verifies that a new prompt does not degrade performance."""
    scores_current = []
    scores_previous = []

    for case in dataset:
        # Evaluate with current prompt
        r1 = client.responses.create(
            model=model, instructions=current_prompt,
            reasoning={"effort": "none"},  # temperature requires effort none
            input=case["input"], temperature=0.0,
        )
        # Evaluate with previous prompt
        r2 = client.responses.create(
            model=model, instructions=previous_prompt,
            reasoning={"effort": "none"},  # temperature requires effort none
            input=case["input"], temperature=0.0,
        )

        s1 = evaluate_response(r1.output_text, case)
        s2 = evaluate_response(r2.output_text, case)
        scores_current.append(s1)
        scores_previous.append(s2)

    avg_current = sum(scores_current) / len(scores_current)
    avg_previous = sum(scores_previous) / len(scores_previous)
    delta = avg_current - avg_previous

    return {
        "current_score": avg_current,
        "previous_score": avg_previous,
        "delta": delta,
        "regression": delta < -degradation_threshold,
        "verdict": "OK" if delta >= -degradation_threshold else "REGRESSION",
    }

Αυτό το test διπλασιάζει τον αριθμό των κλήσεων, και συνεπώς το κόστος και τη διάρκεια. Κρατήστε το για αλλαγές στα prompts, κρατώντας το εκτός της διαδρομής των συνηθισμένων commits, και εκτελέστε το σε ένα αντιπροσωπευτικό υποσύνολο και όχι σε ολόκληρο το σύνολο δεδομένων αναφοράς σας.

Βασικά σημεία

  • Ενσωματώστε τις αξιολογήσεις στον αγωγό CI/CD σας όπως τα unit tests
  • Κρατήστε τα prompts σε αρχεία υπό έλεγχο έκδοσης: χωρίς diff, δεν είναι δυνατή η ενεργοποίηση
  • Ορίστε ελάχιστα κατώφλια ανά τύπο αξιολόγησης, βαθμονομημένα με βάση δεδομένα παραγωγής
  • Μπλοκάρετε τις αναπτύξεις μέσω κωδικού εξόδου όταν οι βαθμολογίες πέφτουν κάτω από τα κατώφλια
  • Ελέγξτε για παλινδρομήσεις συγκρίνοντας νέα και παλιά prompts στο ίδιο σύνολο δεδομένων