Modo de Voz Avançado

{
  "llm": { ... },   // Obrigatório — configuração do LLM
  "stt": { ... }    // Opcional — ajuste do speech-to-text
}

{
  "token": "eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9...",
  "url": "wss://apigw.mka1.com/api/v1/livekit",
  "roomName": "550e8400-e29b-41d4-a716-446655440000"
}

import { Room, RoomEvent, Track } from 'livekit-client';

const room = new Room();

// Conectar à sala
await room.connect(session.url, session.token);

console.log('Conectado à sala:', room.name);

import { createLocalAudioTrack } from 'livekit-client';

// Cria uma trilha de áudio local do microfone
const audioTrack = await createLocalAudioTrack({
  echoCancellation: true,
  noiseSuppression: true,
  autoGainControl: true
});

// Publica a trilha na sala
await room.localParticipant.publishTrack(audioTrack);

// Envia uma mensagem de texto para o agente
const message = JSON.stringify({
  type: 'user_message',
  content: 'Qual é a capital da França?'
});

await room.localParticipant.publishData(
  new TextEncoder().encode(message),
  { reliable: true, topic: 'lk.chat' }
);

import { RoomEvent, Track } from 'livekit-client';

room.on(RoomEvent.TrackSubscribed, (track, publication, participant) => {
  if (track.kind === Track.Kind.Audio && participant.identity !== room.localParticipant.identity) {
    // Esta é a saída de áudio do agente
    const audioElement = track.attach();
    document.body.appendChild(audioElement);
  }
});

room.on(RoomEvent.TranscriptionReceived, (segments, participant) => {
  for (const segment of segments) {
    console.log(`Agente disse: ${segment.text}`);
  }
});

room.on(RoomEvent.DataReceived, (payload, participant) => {
  if (participant.identity !== room.localParticipant.identity) {
    const data = JSON.parse(new TextDecoder().decode(payload));

    if (data.response_id) {
      console.log('ID da resposta:', data.response_id);
      console.log('ID da conversa:', data.conversation_id); // presente se estiver usando uma conversa
      // Salve o response_id para encadear futuras sessões com previous_response_id
    }
  }
});

import { Room, RoomEvent } from 'livekit-client';
import { SDK } from '@meetkai/mka1';

const mka1 = new SDK({
  bearerAuth: `Bearer ${YOUR_API_KEY}`,
});

// 1. Obtenha um token para uma nova sessão
const session = await mka1.llm.speech.livekitToken({
  llm: { model: 'auto' }
}, { headers: { 'X-On-Behalf-Of': 'user-123' } }); // Opcional

// 2. Conecte-se à sala
const room = new Room();
await room.connect(session.url, session.token);

// 3. Acompanhe o ID da resposta quando o agente responder
let lastResponseId: string;
room.on(RoomEvent.DataReceived, (payload, participant) => {
  const data = JSON.parse(new TextDecoder().decode(payload));
  if (data.response_id) {
    lastResponseId = data.response_id;
  }
});

// 4. Converse...
// 5. Desconecte ao terminar
room.disconnect();

// Use a mesma chave de API e X-On-Behalf-Of da sessão original
const mka1 = new SDK({
  bearerAuth: `Bearer ${YOUR_API_KEY}`,
});

// 1. Obtenha um novo token encadeado à resposta anterior
const session = await mka1.llm.speech.livekitToken({
  llm: {
    model: 'auto',
    previousResponseId: lastResponseId
  }
}, { headers: { 'X-On-Behalf-Of': 'user-123' } }); // Opcional, mas deve corresponder se a sessão original usou

// 2. Conecte-se à nova sala
const room = new Room();
await room.connect(session.url, session.token);

// 3. O agente agora tem contexto da sessão anterior
// Usuário: "O que eu te perguntei antes?"
// Agente: "Você perguntou sobre a capital da França..."

// Use a mesma chave de API e X-On-Behalf-Of da sessão original
const mka1 = new SDK({
  bearerAuth: `Bearer ${YOUR_API_KEY}`,
});

// 1. Obtenha um novo token com o ID da conversa
const session = await mka1.llm.speech.livekitToken({
  llm: {
    model: 'auto',
    conversation: { id: conversationId }
  }
}, { headers: { 'X-On-Behalf-Of': 'user-123' } }); // Opcional, mas deve corresponder se a sessão original usou

// 2. Conecte-se à nova sala
const room = new Room();
await room.connect(session.url, session.token);

// 3. O agente agora tem contexto de todo o histórico da conversa

room.on(RoomEvent.Disconnected, async () => {
  console.log('Desconectado da sala');

  // Obtenha um novo token (continuando da última resposta)
  const newSession = await mka1.llm.speech.livekitToken({
    llm: {
      model: 'auto',
      previousResponseId: savedResponseId
    }
  });

  // Reconecte
  await room.connect(newSession.url, newSession.token);
});

import { Room, RoomEvent, Track, createLocalAudioTrack } from 'livekit-client';
import { SDK } from '@meetkai/mka1';

async function startVoiceSession(model: string = 'auto') {
  const mka1 = new SDK({ bearerAuth: `Bearer ${YOUR_API_KEY}` });

  // Obtenha credenciais da sala
  const session = await mka1.llm.speech.livekitToken({ llm: { model } });

  // Crie e conecte à sala
  const room = new Room();

  let lastResponseId: string | undefined;

  // Lide com saída de áudio do agente
  room.on(RoomEvent.TrackSubscribed, (track, publication, participant) => {
    if (track.kind === Track.Kind.Audio) {
      const audio = track.attach();
      document.body.appendChild(audio);
    }
  });

  // Lide com transcrições
  room.on(RoomEvent.TranscriptionReceived, (segments) => {
    for (const segment of segments) {
      console.log('Agente:', segment.text);
    }
  });

  // Lide com metadados da resposta
  room.on(RoomEvent.DataReceived, (payload, participant) => {
    const data = JSON.parse(new TextDecoder().decode(payload));
    if (data.response_id) {
      lastResponseId = data.response_id;
    }
  });

  // Conecte-se à sala
  await room.connect(session.url, session.token);

  // Capture e publique o microfone
  const audioTrack = await createLocalAudioTrack({
    echoCancellation: true,
    noiseSuppression: true
  });
  await room.localParticipant.publishTrack(audioTrack);

  // O agente irá cumprimentá-lo automaticamente
  // Comece a falar para interagir!

  return { room, getLastResponseId: () => lastResponseId };
}

room.on(RoomEvent.DataReceived, (payload, participant) => {
  if (participant.identity === room.localParticipant.identity) return;

  const data = JSON.parse(new TextDecoder().decode(payload));

  if (data.error) {
    console.error(`[${data.error.service}] ${data.error.code}: ${data.error.message}`);
    // data.error.details pode conter informações adicionais de depuração
  }

  if (data.response_id) {
    lastResponseId = data.response_id;
  }
});

{
  "error": {
    "code": "rate_limited",
    "message": "HTTP 429",
    "service": "llm",
    "details": "..."
  }
}