Optimizē transkripcijas kvalitāti
Šajā lapā
Atjauninājums: 2026. gada 2. novembris — Audio modeļi. Vairāki šajā kursā apskatītie modeļi tiek izslēgti no lietošanas:
tts-1,tts-1-hdungpt-4o-mini-ttspārtrauks darboties 2027. gada 6. janvārī (ieteicamais aizstājējs irgpt-realtime-2.1-mini, ko OpenAI TTS rokasgrāmata norāda kā ** neatbalstītu ar/v1/audio/speech**: balss sintēzes migrācija pāriet uz Realtime API);gpt-realtime,gpt-4o-realtimeun vecie audio modeļi — 2027. gada 20. janvārī (gpt-realtime-2.1,gpt-realtime-2.1-mini,gpt-audio-1.5);whisper-1,gpt-4o-transcribeun/v1/audio/translations— 2027. gada 26. februārī (gpt-transcribe,gpt-live-transcribe,v1/realtime/translations). Pilndupleksa balsij GPT-Live 1 ir pieejams API kopš 2026. gada 10. septembra. Nodarbība atjaunināta 2026. gada 3. novembrī: piemēri pārviesti uzgpt-transcribe(prompt,keywords,languages), ko OpenAI iesaka; temperatūra 0 nav “vienmēr visvarbūtīgākā” izvēle: saskaņā ar API atsauces dokumentāciju šajā gadījumā modelis pats pakāpeniski pielāgo temperatūru. Avoti: Failu transkripcija · Transkripcijas izveide.
Optimizē transkripcijas kvalitāti
Whisper pēc noklusējuma ģenerē izcilus transkripcijas rezultātus, taču vairākas metodes var ievērojami uzlabot kvalitāti, it īpaši sarežģītos gadījumos: fona trokšņi, reģionālie akcenti, tehniskā terminoloģija un īpašvārdi. Šajā nodarbībā aplūkosim uzlabotos parametrus un pēcapstrādes stratēģijas.
Parametrs prompt
Konteksts ir tavs galvenais instruments kvalitātes uzlabošanai. Izmantojot gpt-transcribe — modeli, ko iesaka OpenAI — kontekstu nodod, izmantojot trīs parametrus: prompt (konteksta teikums audio valodā), keywords (atpazīstamie termini) un languages (paredzamās valodas).
# Bez konteksta produktu nosaukumi var tikt nepareizi transkribēti
result = client.audio.transcriptions.create(
model="gpt-transcribe",
file=audio_file,
languages=["fr"],
)
# Ar kontekstu un atslēgvārdiem
result = client.audio.transcriptions.create(
model="gpt-transcribe",
file=audio_file,
languages=["fr"],
prompt="Corsen AI tehniskā sapulce par balss aģentiem.",
keywords=["GPT-6.1 Sol", "Responses API", "Realtime API", "Corsen AI", "Mordehai Attia"],
)
Labākā prakse parametram prompt
- Uzskaiti īpašvārdus: personas, uzņēmumi, produkti
- Iekļauj tehnisko žargonu: saīsinājumus, nozarei specifiskus terminus
- Norādi paredzamo stilu: interpunkciju, lielajiem/mazajiem burtiem
- Izmantojot
whisper-1, viss tiek nodots caur vienu parametruprompt, kas aprobežots ar 224 tokeniem: rokasgrāmata norāda, ka Whisper nepilda instrukcijas tāpat kā teksta modelis, tāpēc šeit ir lietderīgi vienkārši uzskaitīt pareizos rakstības variantus - Izmantojot
gpt-transcribe, ievieto terminus parametrākeywords, katru atsevišķā ierakstā, bez<,>vai jaunu rindu simboliem, pretējā gadījumā API noraidīs pieprasījumu
def build_transcription_prompt(context: dict) -> str:
"""Izveido konteksta promptu transkripcijai."""
parts = []
if context.get("speakers"):
parts.append(", ".join(context["speakers"]))
if context.get("technical_terms"):
parts.append(", ".join(context["technical_terms"]))
if context.get("topic"):
parts.append(context["topic"])
return ". ".join(parts)
prompt = build_transcription_prompt({
"speakers": ["Mordehai Attia", "Yoram Halberstam"],
"technical_terms": ["Realtime API", "WebSocket", "VAD", "PCM16"],
"topic": "Tehniskā sapulce par balss aģentiem"
})
Parametrs temperature
Šī galapunkta parametrs temperature pieņem vērtības no 0 līdz 1, pēc noklusējuma iestatot 0. Pretēji izplatītam maldīgam uzskatam, vērtība 0 nenozīmē “vienmēr visvarbūtīgākais vārds”: saskaņā ar API atsauces dokumentāciju šajā gadījumā modelis paļaujas uz savu tokena varbūtībām, lai pats pakāpeniski paaugstinātu temperatūru līdz noteiktiem sliekšņiem.
Praksē atstāj noklusējuma vērtību. gpt-transcribe dokumentācija uzsver konteksta nozīmi (prompt, keywords, languages), nevis temperatūru; attiecībā uz whisper-1 nedaudz augstāku temperatūru (piemēram, 0,2) var izmēģināt pasliktinātas kvalitātes audio gadījumos, izvērtējot katru situāciju atsevišķi.
Audio iepriekšēja apstrāde
Ievades audio kvalitāte ir izšķirošais faktors. Ieguldi līdzekļus iepriekšējā apstrādē:
from pydub import AudioSegment
from pydub.effects import normalize, compress_dynamic_range
def preprocess_audio(input_path: str, output_path: str) -> str:
"""Veic audio iepriekšēju apstrādi optimālai transkripcijai."""
audio = AudioSegment.from_file(input_path)
# 1. Konvertē uz mono (stereo balsij nedod nekādu papildu vērtību)
audio = audio.set_channels(1)
# 2. Pārparaugo uz 16 kHz (Whisper pietiek)
audio = audio.set_frame_rate(16000)
# 3. Normalizē skaļumu
audio = normalize(audio)
# 4. Saspiež dinamisko diapazonu (samazina starpību starp skaļu un klusu)
audio = compress_dynamic_range(audio)
# 5. Eksportē kā 64 kbps MP3
audio.export(output_path, format="mp3", bitrate="64k")
return output_path
Trokšņu samazināšana
Trokšņainiem ierakstiem iepriekšēja apstrāde, izmantojot noisereduce, ievērojami uzlabo rezultātus:
import noisereduce as nr
import soundfile as sf
import numpy as np
def reduce_noise(input_path: str, output_path: str) -> str:
"""Samazina fona trokšņus pirms transkripcijas."""
data, rate = sf.read(input_path)
# Adaptīva trokšņu samazināšana
reduced = nr.reduce_noise(
y=data,
sr=rate,
prop_decrease=0.8, # 80% trokšņu samazināšana
stationary=False # Nestacionāri trokšņi (piemēram, kafejnīca)
)
sf.write(output_path, reduced, rate)
return output_path
Transkripcijas pēcapstrāde
Pat ar labu iepriekšēju apstrādi neapstrādāta transkripcija var prasīt labojumus. Izmanto GPT pēcapstrādei:
async def post_process_transcription(raw_text: str, context: str) -> str:
"""Labo un formatē Whisper transkripciju."""
response = client.responses.create(
model="gpt-5.6-luna",
input=[
{"role": "system", "content": (
"Tu esi transkripcijas labotājs. "
"Labo acīmredzamas Whisper kļūdas, nemainot nozīmi. "
"Pievieno trūkstošo interpunkciju. "
"Labo īpašvārdu un saīsinājumu lielajos/mazajos burtus. "
"Nekopsē un nepārraksti."
)},
{"role": "user", "content": (
f"Konteksts: {context}\n\n"
f"Neapstrādāta transkripcija:\n{raw_text}"
)}
]
)
return response.output_text
Pilns transkripcijas darbplūsmas cikls
Apvieno visas darbības vienotā, stabilā darbplūsmā:
async def transcribe_high_quality(
file_path: str,
language: str = "fr",
speakers: list[str] = None,
technical_terms: list[str] = None
) -> dict:
"""Pilns augstas kvalitātes transkripcijas darbplūsmas cikls."""
# 1. Iepriekšēja apstrāde
processed_path = preprocess_audio(file_path, "/tmp/processed.mp3")
# 2. Izveido kontekstu: tikai aizpildītie parametri
options = {}
terms = (speakers or []) + (technical_terms or [])
if terms:
options["keywords"] = terms
# 3. Transkribē
with open(processed_path, "rb") as f:
result = client.audio.transcriptions.create(
model="gpt-transcribe",
file=f,
languages=[language],
**options,
)
# 4. Pēcapstrāde
context = f"Valoda: {language}, Runātāji: {speakers}"
corrected = await post_process_transcription(result.text, context)
return {
"raw_text": result.text,
"corrected_text": corrected,
"languages": result.languages,
}
Galvenās atziņas
- Konteksts ir visefektīvākais instruments:
prompt,keywordsunlanguages, izmantojotgpt-transcribe; viens parametrsprompt, kas aprobežots ar 224 tokeniem, izmantojotwhisper-1 temperaturepēc noklusējuma ir 0, un pie 0 modelis vajadzības gadījumā pats pielāgo temperatūru: atstāj noklusējuma vērtību- Audio iepriekšēja apstrāde (mono, 16 kHz, normalizācija, trokšņu samazināšana) uzlabo kvalitāti vairāk nekā jebkurš API parametrs
- GPT pēcapstrāde labo interpunkciju, lielajos/mazajos burtus un atlikušās kļūdas
- Pilns darbplūsmas cikls apvieno iepriekšēju apstrādi, kontekstuālu promptu un pēcapstrādi, lai sasniegtu maksimālu kvalitāti