Formati audio e ottimizzazione
In questa pagina
Scegli il formato giusto per ogni contesto
Il formato audio è una di quelle impostazioni che sbrighi all’inizio per poi rimpiangerle in seguito. Eppure, determina la qualità percepita, la banda consumata da ogni ascolto e la compatibilità con la tua piattaforma di destinazione. Un podcast distribuito come PCM grezzo fa esplodere i costi di distribuzione, mentre uno stream telefonico a 24.000 Hz subisce una transcodifica lungo il percorso, con tutto il degrado che ne consegue. Questa lezione passa in rassegna i formati disponibili e come scegliere tra di essi.
Codec supportati
| Codec | Tipo MIME | Compressione | Utilizzo principale |
|---|---|---|---|
mp3 | audio/mpeg | Lossy | Web, mobile, podcast |
wav | audio/wav | Lossless | Post-produzione, archiviazione |
pcm | audio/pcm | Nessuna (grezzo) | Pipeline audio, Voice Agent |
mulaw | audio/basic | Logaritmica | Telefonia (Americhe, Giappone) |
alaw | audio/alaw | Logaritmica | Telefonia (Europa, internazionale) |
L’MP3 copre la maggior parte della distribuzione consumer. Il WAV serve per l’audio che deve ancora essere modificato o che deve essere mantenuto senza perdita. Il PCM è il formato di scambio delle pipeline in tempo reale, incluso il Voice Agent, perché non ha alcun costo di decodifica. Mu-law e A-law esistono solo per la telefonia e non hanno motivo di apparire altrove.
Frequenze di campionamento
La frequenza di campionamento definisce la granularità del segnale: più è alta, migliori sono le alte frequenze riprodotte, ma più grande diventa il file.
| Frequenza di campionamento | Qualità | Utilizzo |
|---|---|---|
| 8.000 Hz | Telefonia | VoIP, SIP, G.711 |
| 16.000 Hz | Voce wideband | Trascrizione, riconoscimento vocale |
| 22.050 Hz | Radio FM | Podcast, notifiche |
| 24.000 Hz | Standard TTS (predefinito) | Uso generale |
| 44.100 Hz | Audio CD | Produzione musicale, audiolibri |
| 48.000 Hz | Video/broadcast | Post-produzione, broadcasting |
In pratica, tre casi risolvono la questione. La telefonia richiede 8.000 Hz, senza discussioni: è ciò che exige G.711. Web e mobile vanno bene con il predefinito di 24.000 Hz, il miglior equilibrio tra qualità e banda per la voce. Il lavoro di produzione, come un audiolibro o una colonna sonora video, giustifica 44.100 o 48.000 Hz, perché il file verrà mixato, normalizzato e possibilmente ricodificato, e ogni passo erode un po’ di qualità.
Bit rate MP3
Con il codec MP3, il bit rate imposta la compressione e quindi la dimensione finale del file.
| Bit rate | Qualità | Dimensione per 1 min |
|---|---|---|
| 32.000 bps | Bassa | ~240 KB |
| 64.000 bps | Media | ~480 KB |
| 96.000 bps | Buona | ~720 KB |
| 128.000 bps (predefinito) | Molto buona | ~960 KB |
| 192.000 bps | Eccellente | ~1,4 MB |
La voce occupa solo una piccola parte dello spettro: 128 kbps la riproducono già molto bene, e salire a 192 kbps rende il tuo catalogo pesante della metà senza che nessun ascoltatore percepisca la differenza sui contenuti parlati. Riserva quel livello superiore per produzioni premium o passaggi musicali.
Convertire l’audio in Python
Il Voice Agent fornisce PCM grezzo codificato in base64 e due conversioni si presentano in quasi ogni progetto. La prima trasforma quel flusso in un array numpy normalizzato tra -1 e 1, il formato che la maggior parte delle librerie di elaborazione del segnale si aspetta, e fa il percorso inverso per inviare l’audio di nuovo alle API.
import base64
import numpy as np
def base64_to_audio(base64_audio: str) -> np.ndarray:
audio_bytes = base64.b64decode(base64_audio)
audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
return audio_int16.astype(np.float32) / 32768.0
def audio_to_base64(audio_data: np.ndarray) -> str:
audio_int16 = (audio_data * 32767).astype(np.int16)
return base64.b64encode(audio_int16.tobytes()).decode("utf-8")
La seconda incapsula il PCM in un contenitore WAV. Senza quell’intestazione, un lettore audio non sa né quanti canali né quale frequenza di campionamento assumere, e rifiuterà il file o lo riprodurrà alla velocità sbagliata.
import wave
def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
import io
buffer = io.BytesIO()
with wave.open(buffer, "wb") as wf:
wf.setnchannels(1)
wf.setsampwidth(2) # 16-bit
wf.setframerate(sample_rate)
wf.writeframes(pcm_data)
return buffer.getvalue()
Ottimizza per la destinazione
Per un’app web, attieniti a MP3 a 128 kbps a 24.000 Hz per il TTS e PCM a 24.000 Hz per il Voice Agent, che richiede lo streaming bidirezionale. Converti le tue risorse audio statiche, come jingle e messaggi preregistrati, in MP3 una volta per tutte invece di servire WAV a ogni visitatore.
Per la telefonia, rimani strettamente su G.711 a 8.000 Hz e configura il Voice Agent direttamente in quel formato: qualsiasi transcodifica in tempo reale aggiunge latenza dove non ne hai da spare.
Per l’archiviazione, tieni separati archiviazione e distribuzione: il master rimane in WAV a 24.000 Hz, pronto per essere rielaborato, e distribuisci MP3 a 128 kbps, che è molto più leggero. Stesso contenuto, due file, due scopi.
Gestire la memoria nel browser
Durante la riproduzione in streaming, ogni chiamata a URL.createObjectURL riserva memoria che il browser non libera da solo. Nel corso di una sessione lunga, questi URL si accumulano fino a rallentare la scheda fino all’arresto. Revoca quello precedente prima di crearne uno nuovo:
let currentBlobUrl = null;
function playAudioChunk(base64Data) {
// Libera l'URL precedente
if (currentBlobUrl) {
URL.revokeObjectURL(currentBlobUrl);
}
const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
const blob = new Blob([audioBuffer], { type: "audio/pcm" });
currentBlobUrl = URL.createObjectURL(blob);
// Riproduci l'audio...
}
Interpretare i codici di errore TTS
| Codice | Significato | Azione |
|---|---|---|
| 200 | Successo | Audio nel corpo della risposta |
| 400 | Richiesta non valida | Controlla il testo, il codec e la frequenza di campionamento |
| 401 | Non autorizzato | Controlla la chiave API |
| 429 | Quota superata | Implementa un backoff esponenziale |
| 500/503 | Errore server | Riprova con backoff |
Gli errori 400 si risolvono nel tuo codice e non spariranno da soli: derivano da un parametro incompatibile, tipicamente una frequenza di campionamento che il codec scelto non accetta. Gli errori 429 e 5xx, d’altra parte, richiedono la stessa risposta: backoff esponenziale, con ritardi che raddoppiano a ogni tentativo. Un ciclo di retry immediato peggiora solo le cose martellando la quota che hai appena superato.
Punti chiave
- Sono disponibili cinque codec: MP3, WAV, PCM, mu-law e A-law, ognuno adatto a un contesto specifico
- La frequenza di campionamento predefinita è 24.000 Hz; usa 8.000 Hz per la telefonia e 44.100 Hz o superiore per la produzione
- L’MP3 a 128 kbps offre il miglior compromesso qualità-dimensione per la voce parlata
- Gestisci gli URL Blob nel browser per evitare perdite di memoria
- Implementa un backoff esponenziale per gestire gli errori 429 (limitazione della velocità) e 5xx
Verifica la tua comprensione
Voice Agent e TTS: voce da capo a fondo, in cinque domande.
1. Come funziona una sessione Voice Agent?
Risposta: Tramite un WebSocket in tempo reale. Configuri la sessione (voce, personalità, istruzioni), poi gli eventi fluiscono in entrambe le direzioni: l’audio dell’utente in una direzione, le risposte parlate dell’agente nell’altra.
2. Cosa rende possibile il function calling nella voce?
Risposta: L’agente vocale chiama i tuoi strumenti a metà conversazione per consultare un account, effettuare una prenotazione o intraprendere un’azione. La voce diventa un’interfaccia completa, non solo una macchina per la dettatura.
3. Cosa aggiungono i tag espressivi TTS?
Risposta: Controllo sul parlato: intonazione, pause, enfasi. La sintesi smette di suonare monotona e segue l’intento del testo, in ogni lingua supportata.
4. Perché i token effimeri sono importanti?
Risposta: Permettono al client (browser o app mobile) di connettersi al servizio vocale senza esporre la tua chiave API principale. Le credenziali sono di breve durata, limitate a una sessione vocale e scadono da sole, ed è questo che rende sicura la voce in tempo reale.
5. Cosa ti permettono di controllare i formati audio?
Risposta: Il compromesso tra qualità, latenza e banda: scegliere il formato e la frequenza di campionamento adatti al canale (web, telefonia SIP, LiveKit). È l’ottimizzazione che ti porta al traguardo.
Sessione, strumenti, espressività, sicurezza, formati: l’assistente vocale completo in questo corso riunisce tutti e cinque, e il tuo seguirà lo stesso piano.