Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Optimizē transkripcijas kvalitāti

Nodarbība 9 no 18 Atjaunota 2026. gada 3. novembris Programmētājs
Šajā lapā
  1. Optimizē transkripcijas kvalitāti
  2. Parametrs prompt
  3. Parametrs temperature
  4. Audio iepriekšēja apstrāde
  5. Transkripcijas pēcapstrāde
  6. Pilns transkripcijas darbplūsmas cikls
  7. Galvenās atziņas

Atjauninājums: 2026. gada 2. novembris — Audio modeļi. Vairāki šajā kursā apskatītie modeļi tiek izslēgti no lietošanas: tts-1, tts-1-hd un gpt-4o-mini-tts pārtrauks darboties 2027. gada 6. janvārī (ieteicamais aizstājējs ir gpt-realtime-2.1-mini, ko OpenAI TTS rokasgrāmata norāda kā ** neatbalstītu ar /v1/audio/speech**: balss sintēzes migrācija pāriet uz Realtime API); gpt-realtime, gpt-4o-realtime un vecie audio modeļi — 2027. gada 20. janvārī (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5); whisper-1, gpt-4o-transcribe un /v1/audio/translations — 2027. gada 26. februārī (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). Pilndupleksa balsij GPT-Live 1 ir pieejams API kopš 2026. gada 10. septembra. Nodarbība atjaunināta 2026. gada 3. novembrī: piemēri pārviesti uz gpt-transcribe (prompt, keywords, languages), ko OpenAI iesaka; temperatūra 0 nav “vienmēr visvarbūtīgākā” izvēle: saskaņā ar API atsauces dokumentāciju šajā gadījumā modelis pats pakāpeniski pielāgo temperatūru. Avoti: Failu transkripcija · Transkripcijas izveide.

Optimizē transkripcijas kvalitāti

Whisper pēc noklusējuma ģenerē izcilus transkripcijas rezultātus, taču vairākas metodes var ievērojami uzlabot kvalitāti, it īpaši sarežģītos gadījumos: fona trokšņi, reģionālie akcenti, tehniskā terminoloģija un īpašvārdi. Šajā nodarbībā aplūkosim uzlabotos parametrus un pēcapstrādes stratēģijas.

Parametrs prompt

Konteksts ir tavs galvenais instruments kvalitātes uzlabošanai. Izmantojot gpt-transcribe — modeli, ko iesaka OpenAI — kontekstu nodod, izmantojot trīs parametrus: prompt (konteksta teikums audio valodā), keywords (atpazīstamie termini) un languages (paredzamās valodas).

# Bez konteksta produktu nosaukumi var tikt nepareizi transkribēti
result = client.audio.transcriptions.create(
    model="gpt-transcribe",
    file=audio_file,
    languages=["fr"],
)

# Ar kontekstu un atslēgvārdiem
result = client.audio.transcriptions.create(
    model="gpt-transcribe",
    file=audio_file,
    languages=["fr"],
    prompt="Corsen AI tehniskā sapulce par balss aģentiem.",
    keywords=["GPT-6.1 Sol", "Responses API", "Realtime API", "Corsen AI", "Mordehai Attia"],
)

Labākā prakse parametram prompt

  • Uzskaiti īpašvārdus: personas, uzņēmumi, produkti
  • Iekļauj tehnisko žargonu: saīsinājumus, nozarei specifiskus terminus
  • Norādi paredzamo stilu: interpunkciju, lielajiem/mazajiem burtiem
  • Izmantojot whisper-1, viss tiek nodots caur vienu parametru prompt, kas aprobežots ar 224 tokeniem: rokasgrāmata norāda, ka Whisper nepilda instrukcijas tāpat kā teksta modelis, tāpēc šeit ir lietderīgi vienkārši uzskaitīt pareizos rakstības variantus
  • Izmantojot gpt-transcribe, ievieto terminus parametrā keywords, katru atsevišķā ierakstā, bez <, > vai jaunu rindu simboliem, pretējā gadījumā API noraidīs pieprasījumu
def build_transcription_prompt(context: dict) -> str:
    """Izveido konteksta promptu transkripcijai."""
    parts = []

    if context.get("speakers"):
        parts.append(", ".join(context["speakers"]))

    if context.get("technical_terms"):
        parts.append(", ".join(context["technical_terms"]))

    if context.get("topic"):
        parts.append(context["topic"])

    return ". ".join(parts)

prompt = build_transcription_prompt({
    "speakers": ["Mordehai Attia", "Yoram Halberstam"],
    "technical_terms": ["Realtime API", "WebSocket", "VAD", "PCM16"],
    "topic": "Tehniskā sapulce par balss aģentiem"
})

Parametrs temperature

Šī galapunkta parametrs temperature pieņem vērtības no 0 līdz 1, pēc noklusējuma iestatot 0. Pretēji izplatītam maldīgam uzskatam, vērtība 0 nenozīmē “vienmēr visvarbūtīgākais vārds”: saskaņā ar API atsauces dokumentāciju šajā gadījumā modelis paļaujas uz savu tokena varbūtībām, lai pats pakāpeniski paaugstinātu temperatūru līdz noteiktiem sliekšņiem.

Praksē atstāj noklusējuma vērtību. gpt-transcribe dokumentācija uzsver konteksta nozīmi (prompt, keywords, languages), nevis temperatūru; attiecībā uz whisper-1 nedaudz augstāku temperatūru (piemēram, 0,2) var izmēģināt pasliktinātas kvalitātes audio gadījumos, izvērtējot katru situāciju atsevišķi.

Audio iepriekšēja apstrāde

Ievades audio kvalitāte ir izšķirošais faktors. Ieguldi līdzekļus iepriekšējā apstrādē:

from pydub import AudioSegment
from pydub.effects import normalize, compress_dynamic_range

def preprocess_audio(input_path: str, output_path: str) -> str:
    """Veic audio iepriekšēju apstrādi optimālai transkripcijai."""
    audio = AudioSegment.from_file(input_path)

    # 1. Konvertē uz mono (stereo balsij nedod nekādu papildu vērtību)
    audio = audio.set_channels(1)

    # 2. Pārparaugo uz 16 kHz (Whisper pietiek)
    audio = audio.set_frame_rate(16000)

    # 3. Normalizē skaļumu
    audio = normalize(audio)

    # 4. Saspiež dinamisko diapazonu (samazina starpību starp skaļu un klusu)
    audio = compress_dynamic_range(audio)

    # 5. Eksportē kā 64 kbps MP3
    audio.export(output_path, format="mp3", bitrate="64k")
    return output_path

Trokšņu samazināšana

Trokšņainiem ierakstiem iepriekšēja apstrāde, izmantojot noisereduce, ievērojami uzlabo rezultātus:

import noisereduce as nr
import soundfile as sf
import numpy as np

def reduce_noise(input_path: str, output_path: str) -> str:
    """Samazina fona trokšņus pirms transkripcijas."""
    data, rate = sf.read(input_path)

    # Adaptīva trokšņu samazināšana
    reduced = nr.reduce_noise(
        y=data,
        sr=rate,
        prop_decrease=0.8,  # 80% trokšņu samazināšana
        stationary=False     # Nestacionāri trokšņi (piemēram, kafejnīca)
    )

    sf.write(output_path, reduced, rate)
    return output_path

Transkripcijas pēcapstrāde

Pat ar labu iepriekšēju apstrādi neapstrādāta transkripcija var prasīt labojumus. Izmanto GPT pēcapstrādei:

async def post_process_transcription(raw_text: str, context: str) -> str:
    """Labo un formatē Whisper transkripciju."""
    response = client.responses.create(
        model="gpt-5.6-luna",
        input=[
            {"role": "system", "content": (
                "Tu esi transkripcijas labotājs. "
                "Labo acīmredzamas Whisper kļūdas, nemainot nozīmi. "
                "Pievieno trūkstošo interpunkciju. "
                "Labo īpašvārdu un saīsinājumu lielajos/mazajos burtus. "
                "Nekopsē un nepārraksti."
            )},
            {"role": "user", "content": (
                f"Konteksts: {context}\n\n"
                f"Neapstrādāta transkripcija:\n{raw_text}"
            )}
        ]
    )

    return response.output_text

Pilns transkripcijas darbplūsmas cikls

Apvieno visas darbības vienotā, stabilā darbplūsmā:

async def transcribe_high_quality(
    file_path: str,
    language: str = "fr",
    speakers: list[str] = None,
    technical_terms: list[str] = None
) -> dict:
    """Pilns augstas kvalitātes transkripcijas darbplūsmas cikls."""
    # 1. Iepriekšēja apstrāde
    processed_path = preprocess_audio(file_path, "/tmp/processed.mp3")

    # 2. Izveido kontekstu: tikai aizpildītie parametri
    options = {}
    terms = (speakers or []) + (technical_terms or [])
    if terms:
        options["keywords"] = terms

    # 3. Transkribē
    with open(processed_path, "rb") as f:
        result = client.audio.transcriptions.create(
            model="gpt-transcribe",
            file=f,
            languages=[language],
            **options,
        )

    # 4. Pēcapstrāde
    context = f"Valoda: {language}, Runātāji: {speakers}"
    corrected = await post_process_transcription(result.text, context)

    return {
        "raw_text": result.text,
        "corrected_text": corrected,
        "languages": result.languages,
    }

Galvenās atziņas

  • Konteksts ir visefektīvākais instruments: prompt, keywords un languages, izmantojot gpt-transcribe; viens parametrs prompt, kas aprobežots ar 224 tokeniem, izmantojot whisper-1
  • temperature pēc noklusējuma ir 0, un pie 0 modelis vajadzības gadījumā pats pielāgo temperatūru: atstāj noklusējuma vērtību
  • Audio iepriekšēja apstrāde (mono, 16 kHz, normalizācija, trokšņu samazināšana) uzlabo kvalitāti vairāk nekā jebkurš API parametrs
  • GPT pēcapstrāde labo interpunkciju, lielajos/mazajos burtus un atlikušās kļūdas
  • Pilns darbplūsmas cikls apvieno iepriekšēju apstrādi, kontekstuālu promptu un pēcapstrādi, lai sasniegtu maksimālu kvalitāti