Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Konfigurera en röstsession

Lektion 2 av 14 Uppdaterad 3 november 2026 Medelnivå
På denna sida
  1. Meddelandet som sätter allt: session.update
  2. Skriv instruktioner för örat, inte för ögat
  3. Turdetektering
  4. Välj rätt ljudformat
  5. Ge agenten verktyg
  6. Viktiga punkter

Uppdaterat den 3 november 2026, baserat på xAI:s sida om Speech to Speech och guiden för röstpromptning. Källor: Speech to Speech · Prompting Guide.

Meddelandet som sätter allt: session.update

När WebSocket-anslutningen väl är öppen händer ingenting än. Det är meddelandet session.update som ger agenten dess karaktär: vilken röst den använder, vilka instruktioner den följer, hur den upptäcker turtagning och vilka verktyg den får anropa. Tänk på det som sessionens födelseattest. Allt annat i konversationen följer av detta.

{
  "type": "session.update",
  "session": {
    "instructions": "You are a professional voice assistant for an e-commerce company. Keep your answers short and help customers with their orders.",
    "voice": "Ara",
    "turn_detection": {
      "type": "server_vad"
    },
    "audio": {
      "input": { "format": { "type": "audio/pcm", "rate": 24000 } },
      "output": { "format": { "type": "audio/pcm", "rate": 24000 } }
    },
    "tools": [
      { "type": "web_search" }
    ]
  }
}

Servern bekräftar detta med en händelse session.updated. Du behöver inte skicka detta meddelande bara en gång. Du kan skicka det igen mitt i en konversation för att ändra en inställning i farten, till exempel för att byta röst när samtalet går från försäljning till teknisk support, utan att någonsin tappa anslutningen.

Skriv instruktioner för örat, inte för ögat

Fältet instructions spelar rollen som systemprompt. Använd det för att definiera agentens personlighet (formell, avslappnad, teknisk), vilka ämnen den får behandla, begränsningar för dess svar (längd, format, språk) och den affärsmässiga kontext den behöver: ditt företagsnamn, produktsortiment och interna rutiner.

Haken är att det som gör en bra skriven prompt ofta gör en dålig röstagent. Om den lämnas åt sig själv skriver modellen svar på tio rader. Upplästa drar de ut på tiden, och användaren kopplar bort innan slutet. Be därför uttryckligen om korta och direkta svar. Om din app fungerar på ett enda språk, ange vilket, annars kan agenten byta för att matcha uppringarens accent. Berätta också vad den ska göra när den inte förstår: en instruktion som “ställ en förtydligande fråga istället för att gissa” förhindrar att ett felhörjt ordernummer utlöser en meningslös sökning. xAI:s guide för röstpromptning föreslår till och med en struktur i fem delar (roll och persona, mål, konversationsflöde, skyddsräcken och eskalering, röststil) och rekommenderar en eller två korta meningar per tur, såvida inte uppringaren ber om mer detaljer.

Turdetektering

Blocket turn_detection avgör vem som talar och när, och xAI:s dokumentation erbjuder endast två inställningar för detta. Den första är type. I läget "server_vad" upptäcker servern slutet på varje yttrande på egen hand, commitar ljudet, startar svaret och hanterar avbrott: allt du behöver göra är att skicka ljud med input_audio_buffer.append. Den andra inställningen, idle_timeout_ms, är valfri. Om användaren är tyst i så många millisekunder efter ett svar, uppmanar servern dem, och gör det igen efter varje ny tystnad av samma längd.

{
  "turn_detection": { "type": "server_vad", "idle_timeout_ms": 8000 }
}

Det finns ingen känslighetströskel eller tystnadsduration att finjustera. Parametrarna threshold, silence_duration_ms och prefix_padding_ms som du ser i exempel skrivna för OpenAI Realtime API förekommer inte i xAI:s dokumentation.

Om det automatiska beteendet inte passar dig, sätt typen till null och ta själv kontrollen. Då är det upp till dig att buffra ljudet med input_audio_buffer.append, explicit commita turen med input_audio_buffer.commit och trigga genereringen med response.create. Manuellt läge är rätt val för en push-to-talk-gränssnitt, eller närhelst du vill ha exakt kontroll över när agenten talar.

Välj rätt ljudformat

Blocket audio ställer in in- och utformat oberoende av varandra:

{
  "audio": {
    "input": { "format": { "type": "audio/pcm", "rate": 24000 } },
    "output": { "format": { "type": "audio/pcm", "rate": 24000 } }
  }
}

Fyra typer accepteras. Om du inte anger någon får du PCM vid 24 000 Hz:

TypKodningSamplingsfrekvenser
audio/pcmPCM Linear16, little-endian8000, 16000, 22050, 24000, 32000, 44100, 48000 Hz
audio/pcmuG.711 mu-law (nordamerikansk telefoni)Endast 8000 Hz
audio/pcmaG.711 A-law (europeisk telefoni)Endast 8000 Hz
audio/opusOpus, ett paket per meddelande24000 Hz

Din leveranskanal avgör valet. En webbapp i en webbläsare klarar sig bra med PCM vid 24 000 Hz, en bra balans mellan upplevd kvalitet och bandbredd. En integration med SIP-telefon har inget val: nätverket bär G.711 vid 8 000 Hz, och att tvinga på ett format med högre kvalitet innebär bara en meningslös konvertering.

Ge agenten verktyg

Arrayen tools listar vad agenten får anropa under konversationen, och du kan blanda olika sorters verktyg i samma session:

{
  "tools": [
    { "type": "web_search" },
    { "type": "x_search", "allowed_x_handles": ["gaborit_music"] },
    {
      "type": "function",
      "name": "get_order_status",
      "parameters": {
        "type": "object",
        "properties": {
          "order_id": { "type": "string" }
        },
        "required": ["order_id"]
      }
    }
  ]
}

Du tillhandahåller verktygslådan; agenten väljer verktyget. När konversationen utvecklas avgör den att en fråga om nyheter kräver en webbsökning, medan ett ordernummer kräver get_order_status. Ditt jobb handlar alltså mindre om att orkestrera anrop och mer om att beskriva varje verktyg tydligt, så att agenten gör rätt val.

Viktiga punkter

  • Meddelandet session.update konfigurerar röst, instruktioner, VAD och verktyg
  • Server-side VAD (server_vad) upptäcker turer och hanterar avbrott; idle_timeout_ms är den enda inställningen
  • Manuellt läge (turn_detection.type satt till null) ger dig exakt kontroll, till exempel med push-to-talk
  • Ljudformaten PCM, G.711 och Opus täcker både webb- och telefonianvändningsfall
  • Du kan ändra konfigurationen mitt i sessionen utan att tappa anslutningen