> ## Documentation Index
> Fetch the complete documentation index at: https://docs.mka1.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Obter uma análise de erros

> Uma análise com seus IDs de amostra analisados, tags por amostra, o relatório e sua renderização em Markdown. Legível pelo proprietário e por organizações compartilhadas.



## OpenAPI

````yaml https://apigw.mka1.com/speakeasy.json?language=pt-BR get /api/v1/llm/evals/suites/{suite_id}/error-analyses/{analysis_id}
openapi: 3.1.1
info:
  title: MKA1 API
  version: 1.1.0
  description: >-
    A API MKA1 é uma API RESTful que fornece acesso à plataforma MKA1. Aprenda
    como começar a usar a API e o SDK TypeScript
    [aqui](https://mka1.apidocumentation.com/guides/getting-started).
  license:
    name: Proprietário
servers:
  - url: https://apigw.mka1.com
    description: MKA1 API Gateway
  - url: /
    description: Relative server URL (configurable via SDK constructor)
security: []
tags:
  - name: Resource Authorization
    description: >-
      Gerencie permissões para recursos LLM. Crie recursos, conceda/revoque
      permissões e exclua recursos. Apenas os proprietários dos recursos podem
      conceder, revogar ou excluir permissões.
    x-displayName: Autorização de Recurso
  - name: Audit
    description: >-
      API de auditoria para proprietários e administradores da organização.
      Rastreie uma solicitação de ponta a ponta pelo seu X-Request-ID: tempo de
      processamento do gateway de API, as respostas que ele criou e suas
      invocações de modelo e chamadas de ferramenta.
    x-displayName: Auditoria
  - name: Embeddings
    description: >-
      Endpoints da API de incorporação de texto para gerar representações
      vetoriais de texto. Crie incorporações semânticas para busca, clustering e
      correspondência de similaridade usando vários modelos de incorporação.
    x-displayName: Incorporações
  - name: Feedback
    description: >-
      API de feedback do usuário para avaliar e comentar sobre as conclusões de
      chat. Coleta de classificações de positivo/negativo e feedback detalhado
      para melhorar as respostas do modelo e acompanhar a satisfação do usuário.
    x-displayName: Feedback
  - name: Images
    description: >-
      Pontos de extremidade da API de geração de imagens para criar imagens a
      partir de descrições de texto. Gere imagens com controle sobre tamanho,
      qualidade e estilo.
    x-displayName: Imagens
  - name: MCP Vault
    description: >-
      API do cofre MCP para armazenar configurações de servidor MCP de
      propriedade do usuário e credenciais criptografadas. Os agentes
      referenciam IDs de cofre para que os segredos sejam resolvidos apenas no
      momento da execução da ferramenta.
    x-displayName: Cofre MCP
  - name: Speech
    description: >-
      Pontos de extremidade da API de fala para processamento de áudio. Converta
      texto em fala com som natural (TTS) ou transcreva fala em texto (STT) em
      diferentes idiomas.
    x-displayName: Discurso
  - name: Usage
    description: >-
      API de rastreamento de uso e análise para monitoramento do consumo de
      tokens, contagem de solicitações e análise de custos. Veja estatísticas
      detalhadas por usuário, modelo e período de tempo.
    x-displayName: Uso
  - name: Extract
    description: >-
      API de extração de dados estruturados para extrair informações de
      arquivos. Defina esquemas JSON para extrair dados estruturados de imagens,
      PDFs e documentos. Suporta modelos de esquema reutilizáveis.
    x-displayName: Extração
  - name: Text Classification
    description: >-
      API de classificação de texto para categorizar textos em rótulos
      predefinidos. Use modelos de IA para classificar o conteúdo textual para
      análise de sentimento, categorização de tópicos e moderação de conteúdo.
    x-displayName: Classificação de Texto
  - name: Responses
    description: >-
      API de respostas com agentes para criar agentes de IA com uso autônomo de
      ferramentas. Crie assistentes conversacionais que possam usar busca na
      web, operações de arquivos, geração de imagens, execução de código e
      integrações MCP. Suporta processamento em segundo plano, streaming e
      acompanhamento de status em tempo real.
    x-displayName: Respostas
  - name: Files
    description: >-
      API de gerenciamento de arquivos para upload, armazenamento e
      gerenciamento de arquivos com expiração automática e integração com S3.
      Faça upload de arquivos que podem ser usados com Assistentes,
      Armazenamentos Vetoriais e outras funcionalidades. Os arquivos são
      armazenados no S3 com metadados rastreados no PostgreSQL. Suporta limpeza
      automática de arquivos expirados.
    x-displayName: Arquivos
  - name: Vector Stores
    description: >-
      API de armazenamento de vetores para armazenar e pesquisar documentos
      usando embeddings. Crie armazenamentos de vetores, faça upload de arquivos
      com divisão automática e geração de embeddings, e realize pesquisas
      semânticas. Os arquivos são processados de forma assíncrona usando fluxos
      de trabalho Temporais para durabilidade. Suporta limpeza automática de
      armazenamentos expirados e LanceDB para armazenamento eficiente de
      vetores.
    x-displayName: Armazenamentos de Vetores
  - name: Conversations
    description: >-
      API de gerenciamento de conversas para armazenar e recuperar o estado da
      conversa durante chamadas à API de Resposta. Crie conversas, adicione
      itens (mensagens do usuário, mensagens do assistente, mensagens do
      sistema) e mantenha o histórico da conversa. Suporta rastreamento de
      metadados e gerenciamento de estado de diálogo em múltiplas interações.
    x-displayName: Conversa
  - name: Guardrails
    description: >-
      API de diretrizes de segurança de IA para configurar moderação de conteúdo
      e políticas de segurança. Configure listas de palavras proibidas, detecção
      de injeção de prompts e prevenção de vazamento de prompts do sistema. As
      diretrizes aplicam-se a todas as solicitações de uma conta e podem ser
      testadas antes da implementação.
    x-displayName: Guarda-corpos
  - name: Models
    description: >-
      API de listagem de modelos para descobrir modelos disponíveis. Retorna IDs
      de modelos, propriedade e metadados de todos os modelos registrados no
      gateway.
    x-displayName: Modelos
  - name: Skills
    description: >-
      API de habilidades para gerenciar pacotes versionados de instruções e
      arquivos seguindo o padrão de Habilidades do Agente. Crie, versionar e
      baixe pacotes de habilidades reutilizáveis que incluam manifestos SKILL.md
      para ambientes de agentes.
    x-displayName: Habilidades
  - name: Chat Completions
    description: >-
      **Obsoleto: Use a API de Respostas (`/api/v1/llm/responses`) em vez
      disso.** Endpoints de conclusão de chat com suporte para streaming,
      chamadas de ferramentas e múltiplos provedores.
    x-deprecated: true
    x-displayName: Conclusões de Bate-Papo
  - name: Batches
    x-displayName: Lotes
  - name: Evals
    x-displayName: Avaliações
  - name: Fine-Tuning
    x-displayName: Ajuste Fino
  - name: Memory Stores
    x-displayName: Armazenamentos de Memória
  - name: Prompts
    x-displayName: Sugestões
  - name: API Key
    x-displayName: Chave da API
  - name: OAuth
    x-displayName: OAuth
  - name: Session
    x-displayName: Sessão
  - name: Organization
    x-displayName: Organização
  - name: Cluster Admin
    x-displayName: Administrador do cluster
  - name: Sessions
    description: Crie, inspecione, acesse e encerre sessões de sandbox.
    x-displayName: Sessões
  - name: Browser
    description: >-
      Conecte-se às sessões do navegador através do proxy da porta do gateway.
      As sessões do navegador expõem um endpoint do Chrome DevTools Protocol na
      porta 9222.
    x-displayName: Navegador
  - name: Execution
    description: >-
      Executar comandos shell e código dentro de uma sessão de sandbox
      existente.
    x-displayName: Execução
  - name: Workspace
    description: >-
      Inspecione o manifesto do espaço de trabalho, transfira arquivos ou
      arquivos compactados e baixe artefatos gerados.
    x-displayName: Espaço de trabalho
  - name: Sandbox Usage
    description: >-
      Agregue estatísticas de uso da sandbox entre sessões, execução e operações
      do espaço de trabalho.
    x-displayName: Uso do Sandbox
  - name: Sandbox Pricing
    description: >-
      Gerenciamento de cluster-admin da tabela de preços de computação da
      sandbox usada para gastos orçados.
    x-displayName: Preço da Sandbox
  - name: Sandbox GitHub
    description: >-
      Conecte uma conta do GitHub, clone seus repositórios em sessões do sandbox
      e envie branches e abra pull requests a partir de uma sessão. O token do
      GitHub permanece no serviço de sandbox e nunca entra em uma sessão.
    x-displayName: Sandbox do GitHub
  - name: Sandbox Environments
    description: >-
      Salvar a configuração de sessão reutilizável (repositórios, variáveis de
      ambiente, acesso à rede e um script de configuração) e executar o script
      de configuração em uma sessão.
    x-displayName: Ambientes de Sandbox
  - name: Sandbox Connectors
    description: >-
      Conecte servidores MCP remotos (Linear, Notion, Sentry e outros) à sua
      conta para que sessões do Coding Harness iniciadas a partir de um ambiente
      que os liste possam chamar as ferramentas deles. O serviço de sandbox
      mantém as credenciais de cada conector e nunca as coloca em uma sessão.
    x-displayName: Conectores de Sandbox
  - name: Agents
    description: Crie e gerencie definições de agentes reutilizáveis.
    x-displayName: Agentes
  - name: Agent Versions
    description: >-
      Inspecione o histórico de configuração de um agente e reverta para uma
      versão anterior.
    x-displayName: Versões do Agente
  - name: Agent Runs
    description: Execute agentes salvos e inspecione os resultados da execução persistidos.
    x-displayName: Executa Agente
  - name: Agent Connectors
    description: >-
      Conecte agentes salvos a canais de mensagens externos, como o Telegram,
      incluindo troca de texto, foto e documentos compatíveis.
    x-displayName: Conectores de Agente
  - name: Agent Schedules
    description: Crie e gerencie execuções de agentes salvos agendadas ou recorrentes.
    x-displayName: Agendas de Agentes
  - name: schema-4_other
    x-displayName: outro
  - name: Billing
    x-displayName: Cobrança
  - name: Budgets
    x-displayName: Orçamentos
  - name: Settings
    x-displayName: Configurações
  - name: Compute Jobs
    x-displayName: Jobs de Computação
  - name: Compute Services
    x-displayName: Serviços de Computação
  - name: Compute Catalog
    x-displayName: Catálogo de Computação
  - name: Compute Volumes
    x-displayName: Calcular volumes
  - name: Compute Pricing
    x-displayName: Calcular Preços
  - name: Compute Secrets
    x-displayName: Calcular Segredos
  - name: Compute Usage
    x-displayName: Uso de Computação
  - name: Compute Tenants
    x-displayName: Calcular Inquilinos
  - description: Criar, listar, ler, atualizar e excluir repositórios.
    name: Repositories
    x-displayName: Repositórios
  - name: Tracking Experiments
    description: Criar e consultar experimentos de locatário.
    x-displayName: Rastreamento de Experimentos
  - name: Tracking Runs
    description: Registrar e recuperar parâmetros, métricas e tags da execução.
    x-displayName: Acompanhamento de execuções
  - name: analytics.projects
    x-displayName: Projetos
    description: Criar, listar, renomear e arquivar projetos de análise.
  - name: analytics.keys
    x-displayName: Capturar chaves
    description: Criar e revogar chaves do projeto para enviar eventos.
  - name: analytics
    x-displayName: Eventos
    description: Envie eventos e consulte contagens de eventos ou visitantes únicos.
  - name: analytics.events
    x-displayName: Busca de eventos
    description: >-
      Liste eventos individuais com suas propriedades, do mais recente para o
      mais antigo.
  - name: analytics.visitors
    x-displayName: Busca de visitantes
    description: >-
      Liste os visitantes por sua atividade mais recente, com os horários de
      primeira e última visualização.
  - name: generators
    x-displayName: geradores
  - name: generations
    x-displayName: gerações
  - name: formats
    x-displayName: formatos
  - description: >-
      Flags, ambientes, avaliação e o log de auditoria. As operações
      administrativas exigem um administrador de cluster; a avaliação usa uma
      chave de avaliação específica do ambiente.
    name: Feature Flags
    x-displayName: Flags de Recursos
  - name: Service Status
    description: >-
      Status atual de cada serviço e o histórico de incidentes, para a região
      desta implantação.
    x-displayName: Status do Serviço
  - name: Support Cases
    description: >-
      Abra e acompanhe casos de suporte. Os proprietários e administradores da
      organização veem todos os casos da organização; os outros membros veem os
      casos que abriram.
    x-displayName: Casos de suporte
paths:
  /api/v1/llm/evals/suites/{suite_id}/error-analyses/{analysis_id}:
    get:
      tags:
        - Evals
      summary: Obter uma análise de erros
      description: >-
        Uma análise com seus IDs de amostra analisados, tags por amostra, o
        relatório e sua renderização em Markdown. Legível pelo proprietário e
        por organizações compartilhadas.
      operationId: getEvalErrorAnalysis
      parameters:
        - name: suite_id
          in: path
          required: true
          schema:
            type: string
          example: eval_suite_aa87e2b1112a455b8deabed784372198
        - name: analysis_id
          in: path
          required: true
          schema:
            type: string
          example: eval_ea_aa87e2b1112a455b8deabed784372198
        - name: X-On-Behalf-Of
          in: header
          required: false
          schema:
            type: string
          description: Optional external end-user identifier forwarded by the API gateway.
      responses:
        '200':
          description: OK
          content:
            application/json:
              schema:
                $ref: '#/components/schemas/EvalErrorAnalysisObject'
              example:
                id: eval_ea_aa87e2b1112a455b8deabed784372198
                object: eval.error_analysis
                suite_id: eval_suite_aa87e2b1112a455b8deabed784372198
                suite_version: 3
                model: meetkai:functionary-urdu-mini-pak
                metric_id: score
                kind: text
                status: queued
                analyzer_model: gemini-4-argon
                prompt_version: 2026-11-04.1
                cache_key: 3b2c…
                selection:
                  failures_total: 146
                  selected: 100
                  tiered: true
                samples_analysed: 100
                usage: null
                error: null
                created_by: user_123
                created_at: 1762243200
                started_at: null
                finished_at: null
                sample_ids: []
                tags: []
                report: null
                report_markdown: null
      security:
        - bearerAuth: []
      x-codeSamples:
        - lang: csharp
          label: CSharp (SDK)
          source: |-
            using MeetKai.MKA1;
            using MeetKai.MKA1.Types.Components;

            var sdk = new SDK(bearerAuth: "<YOUR_BEARER_TOKEN_HERE>");

            var res = await sdk.Llm.Evals.GetErrorAnalysisAsync(
                suiteId: "eval_suite_aa87e2b1112a455b8deabed784372198",
                analysisId: "eval_ea_aa87e2b1112a455b8deabed784372198"
            );

            // handle response
        - lang: python
          label: Python (SDK)
          source: |-
            from meetkai_mka1 import SDK


            with SDK(
                bearer_auth="<YOUR_BEARER_TOKEN_HERE>",
            ) as sdk:

                res = sdk.llm.evals.get_error_analysis(suite_id="eval_suite_aa87e2b1112a455b8deabed784372198", analysis_id="eval_ea_aa87e2b1112a455b8deabed784372198")

                # Handle response
                print(res)
        - lang: typescript
          label: Typescript (SDK)
          source: |-
            import { SDK } from "@meetkai/mka1";

            const sdk = new SDK({
              bearerAuth: "<YOUR_BEARER_TOKEN_HERE>",
            });

            async function run() {
              const result = await sdk.llm.evals.getErrorAnalysis({
                suiteId: "eval_suite_aa87e2b1112a455b8deabed784372198",
                analysisId: "eval_ea_aa87e2b1112a455b8deabed784372198",
              });

              console.log(result);
            }

            run();
        - lang: go
          label: Go (SDK)
          source: "package main\n\nimport(\n\t\"context\"\n\tmka1 \"github.com/MeetKai/mka1-sdks/go\"\n\t\"log\"\n)\n\nfunc main() {\n    ctx := context.Background()\n\n    s := mka1.New(\n        mka1.WithSecurity(\"<YOUR_BEARER_TOKEN_HERE>\"),\n    )\n\n    res, err := s.Llm.Evals.GetErrorAnalysis(ctx, \"eval_suite_aa87e2b1112a455b8deabed784372198\", \"eval_ea_aa87e2b1112a455b8deabed784372198\", nil)\n    if err != nil {\n        log.Fatal(err)\n    }\n    if res.EvalErrorAnalysisObject != nil {\n        // handle response\n    }\n}"
components:
  schemas:
    EvalErrorAnalysisObject:
      type: object
      properties:
        id:
          type: string
        object:
          const: eval.error_analysis
        suite_id:
          type: string
        suite_version:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        model:
          type: string
        metric_id:
          type: string
        kind:
          $ref: '#/components/schemas/EvalErrorAnalysisKind'
        status:
          $ref: '#/components/schemas/EvalErrorAnalysisStatus'
        analyzer_model:
          type: string
        prompt_version:
          type: string
        cache_key:
          type: string
        selection:
          type: object
          propertyNames:
            type: string
          additionalProperties: {}
          description: >-
            Contagens por trás da amostra: falhas no total, por tarefa e por
            nível, o limite, o contexto do quadro.
        samples_analysed:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        usage:
          anyOf:
            - $ref: '#/components/schemas/EvalErrorAnalysisUsage'
            - type: 'null'
        error:
          anyOf:
            - type: string
            - type: 'null'
        created_by:
          anyOf:
            - type: string
            - type: 'null'
          description: >-
            O ID do usuário que o iniciou; nulo para um leitor em uma
            organização compartilhada, que não vê os usuários da organização
            proprietária.
        created_at:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        started_at:
          anyOf:
            - type: integer
              minimum: -9007199254740991
              maximum: 9007199254740991
            - type: 'null'
        finished_at:
          anyOf:
            - type: integer
              minimum: -9007199254740991
              maximum: 9007199254740991
            - type: 'null'
        sample_ids:
          type: array
          items:
            $ref: '#/components/schemas/EvalErrorAnalysisSampleRef'
        tags:
          type: array
          items:
            $ref: '#/components/schemas/EvalErrorAnalysisTag'
        report:
          anyOf:
            - $ref: '#/components/schemas/EvalErrorAnalysisReport'
            - type: 'null'
        report_markdown:
          anyOf:
            - type: string
            - type: 'null'
          description: >-
            O relatório renderizado em Markdown; nulo até que a análise seja
            concluída.
      required:
        - id
        - object
        - suite_id
        - suite_version
        - model
        - metric_id
        - kind
        - status
        - analyzer_model
        - prompt_version
        - cache_key
        - selection
        - samples_analysed
        - usage
        - error
        - created_by
        - created_at
        - started_at
        - finished_at
        - sample_ids
        - tags
        - report
        - report_markdown
    EvalErrorAnalysisKind:
      enum:
        - tts
        - asr
        - text
      type: string
    EvalErrorAnalysisStatus:
      enum:
        - queued
        - running
        - done
        - failed
      type: string
    EvalErrorAnalysisUsage:
      type: object
      properties:
        analyzer_model:
          type: string
        rate_card_usd_per_1m:
          type: object
          properties:
            input:
              type: number
            output:
              type: number
          required:
            - input
            - output
        calls:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        prompt_tokens:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        prompt_text_tokens:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        prompt_audio_tokens:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        output_tokens:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        thinking_tokens:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        seconds:
          type: number
        usd_input:
          type: number
        usd_output:
          type: number
        usd_total:
          type: number
        per_stage:
          type: object
          propertyNames:
            type: string
          additionalProperties:
            type: object
            properties:
              calls:
                type: integer
                minimum: -9007199254740991
                maximum: 9007199254740991
              prompt_tokens:
                type: integer
                minimum: -9007199254740991
                maximum: 9007199254740991
              output_tokens:
                type: integer
                minimum: -9007199254740991
                maximum: 9007199254740991
              thinking_tokens:
                type: integer
                minimum: -9007199254740991
                maximum: 9007199254740991
              seconds:
                type: number
              usd:
                type: number
            required:
              - calls
              - prompt_tokens
              - output_tokens
              - thinking_tokens
              - seconds
              - usd
        calls_detail:
          type: array
          items:
            $ref: '#/components/schemas/EvalErrorAnalysisUsageCall'
        dropped_ids:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
          description: >-
            IDs de amostra citados que o analisador inventou; removidos antes de
            armazenar.
        report_attempts:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
          description: >-
            Chamadas da etapa 2 realizadas; mais de 1 significa que uma resposta
            vazada foi tentada novamente.
        samples_without_audio:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
          description: >-
            Amostras da placa de áudio enviadas apenas como texto porque o clipe
            não pôde ser lido.
      required:
        - analyzer_model
        - rate_card_usd_per_1m
        - calls
        - prompt_tokens
        - prompt_text_tokens
        - prompt_audio_tokens
        - output_tokens
        - thinking_tokens
        - seconds
        - usd_input
        - usd_output
        - usd_total
        - per_stage
        - calls_detail
        - dropped_ids
        - report_attempts
        - samples_without_audio
    EvalErrorAnalysisSampleRef:
      type: object
      properties:
        id:
          type: string
          description: ID da citação usado nas tags e no relatório.
        run_id:
          type: string
        task_id:
          type: string
        sample_index:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        tier:
          enum:
            - A
            - B
            - '-'
          type: string
        metric_value:
          type: number
        secondary_value:
          anyOf:
            - type: number
            - type: 'null'
        board_median:
          anyOf:
            - type: number
            - type: 'null'
        others_failing:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        others_total:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        excess_over_board:
          anyOf:
            - type: number
            - type: 'null'
        both_judges_fail:
          type: boolean
      required:
        - id
        - run_id
        - task_id
        - sample_index
        - tier
        - metric_value
        - secondary_value
        - board_median
        - others_failing
        - others_total
        - excess_over_board
        - both_judges_fail
    EvalErrorAnalysisTag:
      type: object
      properties:
        id:
          type: string
          description: Id da citação usado nas tags e no relatório.
        run_id:
          type: string
        task_id:
          type: string
        sample_index:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        tier:
          enum:
            - A
            - B
            - '-'
          type: string
        metric_value:
          type: number
        secondary_value:
          anyOf:
            - type: number
            - type: 'null'
        board_median:
          anyOf:
            - type: number
            - type: 'null'
        others_failing:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        others_total:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        excess_over_board:
          anyOf:
            - type: number
            - type: 'null'
        both_judges_fail:
          type: boolean
        heard_text:
          type: string
          description: >-
            O que o analisador ouviu (painéis de áudio) ou uma reformulação em
            uma linha do que o modelo fez (painéis de texto).
        verdict:
          enum:
            - model_error
            - judge_error
            - reference_issue
            - mixed
            - untagged
          type: string
        categories:
          type: array
          items:
            type: string
        primary_category:
          type: string
        severity:
          enum:
            - minor
            - major
            - severe
          type: string
        affected_span:
          type: string
        explanation:
          type: string
        batch:
          type: string
      required:
        - id
        - run_id
        - task_id
        - sample_index
        - tier
        - metric_value
        - secondary_value
        - board_median
        - others_failing
        - others_total
        - excess_over_board
        - both_judges_fail
        - heard_text
        - verdict
        - categories
        - primary_category
        - severity
        - affected_span
        - explanation
        - batch
    EvalErrorAnalysisReport:
      type: object
      properties:
        headline:
          type: string
        overall_assessment:
          type: string
        error_categories:
          type: array
          items:
            type: object
            properties:
              category:
                type: string
              count:
                type: integer
                minimum: -9007199254740991
                maximum: 9007199254740991
              share_of_analysed_failures:
                type: string
              severity:
                enum:
                  - minor
                  - major
                  - severe
                type: string
              what_happens:
                type: string
              example_ids:
                type: array
                items:
                  type: string
            required:
              - category
              - count
              - share_of_analysed_failures
              - severity
              - what_happens
              - example_ids
        weak_tasks:
          type: array
          items:
            type: object
            properties:
              task:
                type: string
              why:
                type: string
              example_ids:
                type: array
                items:
                  type: string
            required:
              - task
              - why
              - example_ids
        judge_and_benchmark_issues:
          type: object
          properties:
            judge_error_count:
              type: integer
              minimum: -9007199254740991
              maximum: 9007199254740991
            reference_issue_count:
              type: integer
              minimum: -9007199254740991
              maximum: 9007199254740991
            note:
              type: string
            example_ids:
              type: array
              items:
                type: string
          required:
            - judge_error_count
            - reference_issue_count
            - note
            - example_ids
        actionable_items:
          type: array
          items:
            type: object
            properties:
              priority:
                type: integer
                minimum: -9007199254740991
                maximum: 9007199254740991
              title:
                type: string
              action_type:
                enum:
                  - text_frontend
                  - serving_config
                  - decoding
                  - training_data
                  - model_architecture
                  - judge_or_metric
                  - benchmark_fix
                type: string
              what_to_do:
                type: string
              why_it_helps:
                type: string
              addresses_categories:
                type: array
                items:
                  type: string
              estimated_share_of_failures_fixed:
                type: string
              evidence_ids:
                type: array
                items:
                  type: string
              confidence:
                enum:
                  - low
                  - medium
                  - high
                type: string
              effort:
                enum:
                  - hours
                  - days
                  - weeks
                type: string
            required:
              - priority
              - title
              - action_type
              - what_to_do
              - why_it_helps
              - addresses_categories
              - estimated_share_of_failures_fixed
              - evidence_ids
              - confidence
              - effort
        strengths:
          type: array
          items:
            type: string
        limits_of_this_analysis:
          type: array
          items:
            type: string
      required:
        - headline
        - overall_assessment
        - error_categories
        - weak_tasks
        - judge_and_benchmark_issues
        - actionable_items
        - strengths
        - limits_of_this_analysis
    EvalErrorAnalysisUsageCall:
      type: object
      properties:
        stage:
          enum:
            - tag
            - report
          type: string
        batch:
          anyOf:
            - type: string
            - type: 'null'
        prompt_tokens:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        prompt_text_tokens:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        prompt_audio_tokens:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        output_tokens:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        thinking_tokens:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        seconds:
          type: number
      required:
        - stage
        - batch
        - prompt_tokens
        - prompt_text_tokens
        - prompt_audio_tokens
        - output_tokens
        - thinking_tokens
        - seconds
  securitySchemes:
    bearerAuth:
      type: http
      scheme: bearer
      bearerFormat: API Key
      description: >-
        Send Authorization: Bearer <credential>, using an MKA1 API key for
        automation or an OAuth API access token for a signed-in application. Use
        a dynamic security callback to refresh OAuth access tokens. Browser
        session-only operations still require their declared cookie.

````

This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.