Iniciar uma análise de erro de uma linha da classificação
Seleciona as amostras com falha de um modelo em uma versão de suíte (100 por padrão, sample_size até 200), envia-as (com o áudio delas em painéis de fala) para o analisador em duas etapas e armazena um relatório de categorias de erro, tarefas fracas, problemas do juiz e do benchmark, e itens acionáveis. O trabalho é executado em segundo plano: consulte periodicamente o id retornado até que status seja done ou failed. Uma análise concluída das mesmas amostras, métrica e versão do prompt é retornada como está, a menos que force seja true; o mesmo vale para uma análise que ainda esteja em execução. Somente a organização proprietária; organizações compartilhadas podem ler relatórios, mas não podem iniciar um. Retorna 400 para painéis de embedding e coding-agent, para uma linha sem falhas e quando o analisador não está configurado no cluster.
Autorizações
Send Authorization: Bearer , using an MKA1 API key for automation or an OAuth API access token for a signed-in application. Use a dynamic security callback to refresh OAuth access tokens. Browser session-only operations still require their declared cookie.
Cabeçalhos
Optional external end-user identifier forwarded by the API gateway.
Parâmetros de caminho
Corpo
A linha do ranking a ser analisada: um ID de modelo exatamente como aparece no painel.
1 - 255Versão da suíte cujas execuções são analisadas. O padrão é a versão ativa da suíte.
1 <= x <= 9007199254740991Métrica principal que define uma falha (por exemplo, wer, scribe_v2_wer, score). O padrão é a métrica padrão do board.
1 - 128Substitui o limite de falha: uma amostra falha quando uma métrica em que menor é melhor está igual ou acima dele, ou quando uma métrica em que maior é melhor está abaixo dele. Padrões: 0,1 e 0,5.
Quantas falhas analisar. Padrão 100.
10 <= x <= 200Inicie uma nova análise mesmo quando já existir uma concluída para as mesmas amostras, métrica e versão do prompt.
Modelo de analisador a ser usado, um de GET /evals/error-analysis/analyzers. O padrão é o analisador padrão do cluster.
1 - 128Resposta
OK
-9007199254740991 <= x <= 9007199254740991tts, asr, text queued, running, done, failed Contagens por trás da amostra: falhas no total, por tarefa e por nível, o limite, o contexto do quadro.
-9007199254740991 <= x <= 9007199254740991O ID do usuário que o iniciou; nulo para um leitor em uma organização compartilhada, que não vê os usuários da organização proprietária.
-9007199254740991 <= x <= 9007199254740991-9007199254740991 <= x <= 9007199254740991-9007199254740991 <= x <= 9007199254740991O relatório renderizado em Markdown; nulo até que a análise seja concluída.