Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Konfigurér en talesession

Lektion 2 af 14 Opdateret 3. november 2026 Mellem
På denne side
  1. Beskeden, der sætter alt i gang: session.update
  2. Skriv instrukser til øret, ikke til øjet
  3. Registrering af taletid (Turn detection)
  4. Vælg det rigtige lydformat
  5. Giv agenten værktøjer
  6. Vigtige pointer

Opdateret 3. november 2026, baseret på xAI-siden Speech to Speech og vejledningen til voice-prompting. Kilder: Speech to Speech · Prompting Guide.

Beskeden, der sætter alt i gang: session.update

Når WebSocket-forbindelsen først er åben, sker der endnu ingenting. Det er beskeden session.update, der giver agenten dens karakter: den stemme, den bruger, de instrukser, den følger, hvordan den registrerer skift i samtalen, og hvilke værktøjer den må kalde på. Tænk på det som sessionens fødselsattest. Alt andet i samtalen udspringer herfra.

{
  "type": "session.update",
  "session": {
    "instructions": "You are a professional voice assistant for an e-commerce company. Keep your answers short and help customers with their orders.",
    "voice": "Ara",
    "turn_detection": {
      "type": "server_vad"
    },
    "audio": {
      "input": { "format": { "type": "audio/pcm", "rate": 24000 } },
      "output": { "format": { "type": "audio/pcm", "rate": 24000 } }
    },
    "tools": [
      { "type": "web_search" }
    ]
  }
}

Serveren bekræfter modtagelsen med en session.updated-begivenhed. Du behøver ikke kun sende denne besked én gang. Du kan sende den igen midt i samtalen for at ændre en indstilling med det samme, for eksempel for at skifte stemme, når opkaldet går fra salg til teknisk support, uden nogensinde at afbryde forbindelsen.

Skriv instrukser til øret, ikke til øjet

Feltet instructions spiller rollen som system-prompten. Brug det til at definere agentens personlighed (formel, uformel, teknisk), de emner den må dække, begrænsningerne for dens svar (længde, format, sprog) og den forretningsmæssige kontekst, den har brug for: dit firmanavn, produktsortiment og interne procedurer.

Hagen er, at det, der gør en skriftlig prompt god, ofte gør en voice-agent dårlig. Overladt til sig selv skriver en model svar på ti linjer. Læst højt trækker de ud, og brugeren kobler fra, før slutningen. Bed derfor eksplicit om korte, direkte svar. Hvis din app kun fungerer på ét sprog, så angiv hvilket, ellers kan agenten skifte for at matche callerens accent. Og fortæl den, hvad den skal gøre, når den ikke forstår: En instruktion som „stil et afklarende spørgsmål i stedet for at gætte” forhindrer, at et misforstået ordrenummer udløser en meningsløs søgning. xAI’s vejledning til voice-prompting foreslår endda en fem-delt struktur (rolle og persona, mål, samtaleflow, sikkerhedsforanstaltninger og eskalering, stemmestil) og anbefaler én eller to korte sætninger per tur, medmindre calleren beder om flere detaljer.

Registrering af taletid (Turn detection)

Blokken turn_detection afgør, hvem der taler og hvornår, og xAI-dokumentationen tilbyder kun to indstillinger til dette. Den første er type. I tilstanden "server_vad" registrerer serveren selv slutningen på hver ytring, commit’er lyden, starter svaret og håndterer afbrydelser: Alt du skal gøre, er at sende lyd med input_audio_buffer.append. Den anden indstilling, idle_timeout_ms, er valgfri. Hvis brugeren er tavs i så mange millisekunder efter et svar, opfordrer serveren brugeren til at tale, og gør det igen efter hver ny stilhed af samme længde.

{
  "turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}

Der er ingen følsomhedstærskel eller varighed for stilhed, du kan justere. Parametrene threshold, silence_duration_ms og prefix_padding_ms, som du ser i eksempler skrevet til OpenAI Realtime API, findes ikke i xAI-dokumentationen.

Hvis den automatiske adfærd ikke passer dig, skal du sætte typen til null og selv tage kontrollen. Det er så op til dig at buffre lyden med input_audio_buffer.append, eksplicit commit’e turen med input_audio_buffer.commit og udløse genereringen med response.create. Manuel tilstand er det rigtige valg til en push-to-talk-grænseflade, eller når du ønsker præcis kontrol over, hvornår agenten taler.

Vælg det rigtige lydformat

Blokken audio definerer input- og outputformater uafhængigt af hinanden:

{
  "audio": {
    "input": { "format": { "type": "audio/pcm", "rate": 24000 } },
    "output": { "format": { "type": "audio/pcm", "rate": 24000 } }
  }
}

Fire typer accepteres. Hvis du ikke angiver en, får du PCM ved 24.000 Hz:

TypeKodningSample rates
audio/pcmPCM Linear16, little-endian8000, 16000, 22050, 24000, 32000, 44100, 48000 Hz
audio/pcmuG.711 mu-law (nordamerikansk telefoni)Kun 8000 Hz
audio/pcmaG.711 A-law (europæisk telefoni)Kun 8000 Hz
audio/opusOpus, én pakke per besked24000 Hz

Din leveringskanal afgør valget. En webapp i en browser klarer sig fint med 24.000 Hz PCM, hvilket er en god balance mellem oplevet kvalitet og båndbredde. En integration til en SIP-telefon har intet valg: Netværket transporterer G.711 ved 8.000 Hz, og at tvinge et format af højere kvalitet ind på det tilføjer kun en meningsløs konvertering.

Giv agenten værktøjer

Arrayet tools lister, hvad agenten må kalde på under samtalen, og du kan blande forskellige typer i samme session:

{
  "tools": [
    { "type": "web_search" },
    { "type": "x_search", "allowed_x_handles": ["gaborit_music"] },
    {
      "type": "function",
      "name": "get_order_status",
      "parameters": {
        "type": "object",
        "properties": {
          "order_id": { "type": "string" }
        },
        "required": ["order_id"]
      }
    }
  ]
}

Du leverer værktøjskassen; agenten vælger værktøjet. Efterhånden som samtalen skrider frem, beslutter den, at et spørgsmål om nyheder kræver en websøgning, mens et ordrenummer kræver get_order_status. Dit job handler derfor mindre om at orkestrere kald og mere om at beskrive hvert værktøj tydeligt, så agenten træffer det rigtige valg.

Vigtige pointer

  • Beskeden session.update konfigurerer stemme, instrukser, VAD og værktøjer
  • Server-side VAD (server_vad) registrerer taletid og håndterer afbrydelser; idle_timeout_ms er den eneste indstilling
  • Manuel tilstand (turn_detection.type sat til null) giver dig præcis kontrol, f.eks. ved push-to-talk
  • Lydformaterne PCM, G.711 og Opus dækker både web- og telefonibrugstilfælde
  • Du kan ændre konfigurationen midt i sessionen uden at afbryde forbindelsen