> ## Documentation Index
> Fetch the complete documentation index at: https://docs.mka1.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Obtener un análisis de errores

> Un análisis con sus IDs de muestra analizados, etiquetas por muestra, el informe y su renderizado en Markdown. Legible por el propietario y por las organizaciones compartidas.



## OpenAPI

````yaml https://apigw.mka1.com/speakeasy.json?language=es get /api/v1/llm/evals/suites/{suite_id}/error-analyses/{analysis_id}
openapi: 3.1.1
info:
  title: MKA1 API
  version: 1.1.0
  description: >-
    La API MKA1 es una API RESTful que proporciona acceso a la plataforma MKA1.
    Aprende cómo comenzar con la API y el SDK de TypeScript
    [aquí](https://mka1.apidocumentation.com/guides/getting-started).
  license:
    name: Propietario
servers:
  - url: https://apigw.mka1.com
    description: MKA1 API Gateway
  - url: /
    description: Relative server URL (configurable via SDK constructor)
security: []
tags:
  - name: Resource Authorization
    description: >-
      Gestiona permisos para recursos LLM. Crea recursos, otorga/revoca permisos
      y elimina recursos. Solo los propietarios de recursos pueden otorgar,
      revocar o eliminar permisos.
    x-displayName: Autorización de Recursos
  - name: Audit
    description: >-
      API de auditoría para propietarios y administradores de organizaciones.
      Rastrea una solicitud de extremo a extremo por su X-Request-ID:
      temporización de la API gateway, las respuestas que creó y sus
      invocaciones de modelo y llamadas a herramientas.
    x-displayName: Auditoría
  - name: Embeddings
    description: >-
      Puntos finales de la API de incrustación de texto para generar
      representaciones vectoriales del texto. Crea incrustaciones semánticas
      para búsqueda, agrupamiento y coincidencia de similitudes utilizando
      varios modelos de incrustación.
    x-displayName: Incrustaciones
  - name: Feedback
    description: >-
      API de retroalimentación del usuario para calificar y comentar sobre las
      completaciones de chat. Recopila calificaciones de pulgares arriba/abajo y
      comentarios detallados para mejorar las respuestas del modelo y rastrear
      la satisfacción del usuario.
    x-displayName: Retroalimentación
  - name: Images
    description: >-
      Puntos finales de la API de generación de imágenes para crear imágenes a
      partir de descripciones de texto. Genera imágenes con control sobre el
      tamaño, la calidad y el estilo.
    x-displayName: Imágenes
  - name: MCP Vault
    description: >-
      API de bóveda MCP para almacenar configuraciones de servidor MCP propiedad
      del usuario y credenciales encriptadas. Los agentes hacen referencia a los
      ID de la bóveda para que los secretos se resuelvan solo en el momento de
      la ejecución de la herramienta.
    x-displayName: Bóveda MCP
  - name: Speech
    description: >-
      Puntos finales de la API de voz para el procesamiento de audio. Convierte
      texto en habla natural (TTS) o transcribe el habla a texto (STT) en
      diferentes idiomas.
    x-displayName: Discurso
  - name: Usage
    description: >-
      API de seguimiento de uso y análisis para monitorear el consumo de tokens,
      la cantidad de solicitudes y el análisis de costos. Visualiza estadísticas
      detalladas por usuario, modelo y período de tiempo.
    x-displayName: Uso
  - name: Extract
    description: >-
      API de extracción de datos estructurados para extraer información de
      archivos. Define esquemas JSON para extraer datos estructurados de
      imágenes, PDFs y documentos. Soporta plantillas de esquemas reutilizables.
    x-displayName: Extracción
  - name: Text Classification
    description: >-
      API de clasificación de texto para categorizar texto en etiquetas
      predefinidas. Utilice modelos de IA para clasificar el contenido del texto
      para análisis de sentimientos, categorización de temas y moderación de
      contenido.
    x-displayName: Clasificación de Texto
  - name: Responses
    description: >-
      API de respuestas impulsada por agentes para crear agentes de IA con uso
      autónomo de herramientas. Crea asistentes conversacionales que pueden usar
      búsqueda web, operaciones con archivos, generación de imágenes, ejecución
      de código e integraciones MCP. Admite procesamiento en segundo plano,
      streaming y seguimiento de estado en tiempo real.
    x-displayName: Respuestas
  - name: Files
    description: >-
      API de gestión de archivos para cargar, almacenar y gestionar archivos con
      expiración automática e integración con S3. Carga archivos que se pueden
      usar con Asistentes, Almacenes Vectoriales y otras funciones. Los archivos
      se almacenan en S3 con metadatos rastreados en PostgreSQL. Soporta la
      limpieza automática de archivos expirados.
    x-displayName: Archivos
  - name: Vector Stores
    description: >-
      API de almacenamiento de vectores para almacenar y buscar documentos
      utilizando incrustaciones. Crea almacenes de vectores, sube archivos con
      fragmentación automática y generación de incrustaciones, y realiza
      búsquedas semánticas. Los archivos se procesan de forma asincrónica
      utilizando flujos de trabajo de Temporal para durabilidad. Soporta
      limpieza automática de almacenes caducados y LanceDB para almacenamiento
      eficiente de vectores.
    x-displayName: Almacenes de Vectores
  - name: Conversations
    description: >-
      API de gestión de conversaciones para almacenar y recuperar el estado de
      la conversación a través de llamadas a la API de respuesta. Crea
      conversaciones, añade elementos (mensajes de usuario, mensajes del
      asistente, mensajes del sistema) y mantiene el historial de la
      conversación. Soporta seguimiento de metadatos y gestión del estado del
      diálogo en múltiples turnos.
    x-displayName: Conversaciones
  - name: Guardrails
    description: >-
      API de salvaguardias de seguridad de IA para configurar la moderación de
      contenido y las políticas de seguridad. Configura listas de palabras
      prohibidas, detección de inyección de mensajes y prevención de filtración
      de mensajes del sistema. Las salvaguardias se aplican a todas las
      solicitudes de una cuenta y se pueden probar antes del despliegue.
    x-displayName: Barandillas
  - name: Models
    description: >-
      API de listado de modelos para descubrir modelos disponibles. Devuelve IDs
      de modelos, propiedad y metadatos para todos los modelos registrados en la
      puerta de enlace.
    x-displayName: Modelos
  - name: Skills
    description: >-
      API de habilidades para gestionar paquetes de instrucciones y archivos
      versionados siguiendo el estándar de Habilidades del Agente. Crea,
      versiona y descarga paquetes de habilidades reutilizables que incluyen
      manifiestos SKILL.md para entornos de agentes.
    x-displayName: Habilidades
  - name: Chat Completions
    description: >-
      **Obsoleto: Usa la API de Respuestas (`/api/v1/llm/responses`) en su
      lugar.** Puntos finales de completación de chat con soporte para
      transmisión, llamadas a herramientas y múltiples proveedores.
    x-deprecated: true
    x-displayName: Completaciones de Chat
  - name: Batches
    x-displayName: Lotes
  - name: Evals
    x-displayName: Evaluaciones
  - name: Fine-Tuning
    x-displayName: Ajuste fino
  - name: Memory Stores
    x-displayName: Almacenes de memoria
  - name: Prompts
    x-displayName: Sugerencias
  - name: API Key
    x-displayName: Clave de API
  - name: OAuth
    x-displayName: OAuth
  - name: Session
    x-displayName: Sesión
  - name: Organization
    x-displayName: Organización
  - name: Cluster Admin
    x-displayName: Administrador de clúster
  - name: Sessions
    description: Crear, inspeccionar, acceder y terminar sesiones de sandbox.
    x-displayName: Sesiones
  - name: Browser
    description: >-
      Conéctate a las sesiones del navegador a través del proxy del puerto de la
      puerta de enlace. Las sesiones del navegador exponen un punto final del
      Protocolo de DevTools de Chrome en el puerto 9222.
    x-displayName: Navegador
  - name: Execution
    description: >-
      Ejecutar comandos de shell y código dentro de una sesión de sandbox
      existente.
    x-displayName: Ejecución
  - name: Workspace
    description: >-
      Inspeccionar el manifiesto del espacio de trabajo, transferir archivos o
      archivos comprimidos, y descargar artefactos generados.
    x-displayName: Espacio de trabajo
  - name: Sandbox Usage
    description: >-
      Agrega estadísticas de uso de sandbox entre sesiones, ejecución y
      operaciones del espacio de trabajo.
    x-displayName: Uso de Sandbox
  - name: Sandbox Pricing
    description: >-
      Gestión de administrador de clúster de la tarjeta de tarifas de cómputo
      del entorno aislado utilizada para el gasto presupuestado.
    x-displayName: Precios de Sandbox
  - name: Sandbox GitHub
    description: >-
      Conecta una cuenta de GitHub, clona sus repositorios en sesiones de
      sandbox y envía ramas y abre solicitudes de extracción desde una sesión.
      El token de GitHub permanece en el servicio de sandbox y nunca entra en
      una sesión.
    x-displayName: GitHub de pruebas
  - name: Sandbox Environments
    description: >-
      Guardar la configuración reutilizable de la sesión (repositorios,
      variables de entorno, acceso a la red y un script de configuración) y
      ejecutar el script de configuración en una sesión.
    x-displayName: Entornos de pruebas
  - name: Sandbox Connectors
    description: >-
      Conecta servidores MCP remotos (Linear, Notion, Sentry y otros) a tu
      cuenta para que las sesiones de Coding Harness iniciadas desde un entorno
      que los liste puedan llamar a sus herramientas. El servicio de sandbox
      conserva la credencial de cada conector y nunca la incluye en una sesión.
    x-displayName: Conectores de sandbox
  - name: Agents
    description: Crea y gestiona definiciones de agentes reutilizables.
    x-displayName: Agentes
  - name: Agent Versions
    description: >-
      Inspeccionar el historial de configuración de un agente y revertir a una
      versión anterior.
    x-displayName: Versiones de Agente
  - name: Agent Runs
    description: >-
      Ejecutar agentes guardados e inspeccionar los resultados de ejecución
      persistidos.
    x-displayName: Ejecuta Agentes
  - name: Agent Connectors
    description: >-
      Conecta agentes guardados a canales de mensajería externos como Telegram,
      incluyendo intercambio de texto, fotos y documentos compatibles.
    x-displayName: Conectores de agentes
  - name: Agent Schedules
    description: >-
      Crea y gestiona ejecuciones de agentes programadas o recurrentes
      guardadas.
    x-displayName: Horarios de Agentes
  - name: schema-4_other
    x-displayName: otro
  - name: Billing
    x-displayName: Facturación
  - name: Budgets
    x-displayName: Presupuestos
  - name: Settings
    x-displayName: Configuración
  - name: Compute Jobs
    x-displayName: Trabajos de computación
  - name: Compute Services
    x-displayName: Servicios de computación
  - name: Compute Catalog
    x-displayName: Catálogo de cómputo
  - name: Compute Volumes
    x-displayName: Calcular volúmenes
  - name: Compute Pricing
    x-displayName: Calcular precios
  - name: Compute Secrets
    x-displayName: Calcular secretos
  - name: Compute Usage
    x-displayName: Uso de cómputo
  - name: Compute Tenants
    x-displayName: Calcular inquilinos
  - description: Crear, listar, leer, actualizar y eliminar repositorios.
    name: Repositories
    x-displayName: Repositorios
  - name: Tracking Experiments
    description: Crear y consultar experimentos del inquilino.
    x-displayName: Seguimiento de experimentos
  - name: Tracking Runs
    description: Registrar y recuperar parámetros, métricas y etiquetas de ejecución.
    x-displayName: Seguimiento de ejecuciones
  - name: analytics.projects
    x-displayName: Proyectos
    description: Crear, listar, renombrar y archivar proyectos de análisis.
  - name: analytics.keys
    x-displayName: Capturar teclas
    description: Crear y revocar claves de proyecto para enviar eventos.
  - name: analytics
    x-displayName: Eventos
    description: Enviar eventos y consultar el número de eventos o visitantes únicos.
  - name: analytics.events
    x-displayName: Búsqueda de eventos
    description: >-
      Enumere los eventos individuales con sus propiedades, primero los más
      recientes.
  - name: analytics.visitors
    x-displayName: Búsqueda de visitantes
    description: >-
      Lista a los visitantes según su actividad más reciente, con las horas de
      primera y última vez que se les vio.
  - name: generators
    x-displayName: generadores
  - name: generations
    x-displayName: generaciones
  - name: formats
    x-displayName: formatos
  - description: >-
      Banderas, entornos, evaluación y el registro de auditoría. Las operaciones
      administrativas requieren un administrador del clúster; la evaluación usa
      una clave de evaluación específica del entorno.
    name: Feature Flags
    x-displayName: Funciones de bandera
  - name: Service Status
    description: >-
      Estado actual de cada servicio y el historial de incidentes de la región
      de esta implementación.
    x-displayName: Estado del servicio
  - name: Support Cases
    description: >-
      Abra y siga los casos de soporte. Los propietarios y administradores de la
      organización ven todos los casos de la organización; los demás miembros
      ven los casos que abrieron.
    x-displayName: Casos de soporte
paths:
  /api/v1/llm/evals/suites/{suite_id}/error-analyses/{analysis_id}:
    get:
      tags:
        - Evals
      summary: Obtener un análisis de errores
      description: >-
        Un análisis con sus IDs de muestra analizados, etiquetas por muestra, el
        informe y su renderizado en Markdown. Legible por el propietario y por
        las organizaciones compartidas.
      operationId: getEvalErrorAnalysis
      parameters:
        - name: suite_id
          in: path
          required: true
          schema:
            type: string
          example: eval_suite_aa87e2b1112a455b8deabed784372198
        - name: analysis_id
          in: path
          required: true
          schema:
            type: string
          example: eval_ea_aa87e2b1112a455b8deabed784372198
        - name: X-On-Behalf-Of
          in: header
          required: false
          schema:
            type: string
          description: Optional external end-user identifier forwarded by the API gateway.
      responses:
        '200':
          description: Está bien
          content:
            application/json:
              schema:
                $ref: '#/components/schemas/EvalErrorAnalysisObject'
              example:
                id: eval_ea_aa87e2b1112a455b8deabed784372198
                object: eval.error_analysis
                suite_id: eval_suite_aa87e2b1112a455b8deabed784372198
                suite_version: 3
                model: meetkai:functionary-urdu-mini-pak
                metric_id: score
                kind: text
                status: queued
                analyzer_model: gemini-4-argon
                prompt_version: 2026-11-04.1
                cache_key: 3b2c…
                selection:
                  failures_total: 146
                  selected: 100
                  tiered: true
                samples_analysed: 100
                usage: null
                error: null
                created_by: user_123
                created_at: 1762243200
                started_at: null
                finished_at: null
                sample_ids: []
                tags: []
                report: null
                report_markdown: null
      security:
        - bearerAuth: []
      x-codeSamples:
        - lang: csharp
          label: CSharp (SDK)
          source: |-
            using MeetKai.MKA1;
            using MeetKai.MKA1.Types.Components;

            var sdk = new SDK(bearerAuth: "<YOUR_BEARER_TOKEN_HERE>");

            var res = await sdk.Llm.Evals.GetErrorAnalysisAsync(
                suiteId: "eval_suite_aa87e2b1112a455b8deabed784372198",
                analysisId: "eval_ea_aa87e2b1112a455b8deabed784372198"
            );

            // handle response
        - lang: python
          label: Python (SDK)
          source: |-
            from meetkai_mka1 import SDK


            with SDK(
                bearer_auth="<YOUR_BEARER_TOKEN_HERE>",
            ) as sdk:

                res = sdk.llm.evals.get_error_analysis(suite_id="eval_suite_aa87e2b1112a455b8deabed784372198", analysis_id="eval_ea_aa87e2b1112a455b8deabed784372198")

                # Handle response
                print(res)
        - lang: typescript
          label: Typescript (SDK)
          source: |-
            import { SDK } from "@meetkai/mka1";

            const sdk = new SDK({
              bearerAuth: "<YOUR_BEARER_TOKEN_HERE>",
            });

            async function run() {
              const result = await sdk.llm.evals.getErrorAnalysis({
                suiteId: "eval_suite_aa87e2b1112a455b8deabed784372198",
                analysisId: "eval_ea_aa87e2b1112a455b8deabed784372198",
              });

              console.log(result);
            }

            run();
        - lang: go
          label: Go (SDK)
          source: "package main\n\nimport(\n\t\"context\"\n\tmka1 \"github.com/MeetKai/mka1-sdks/go\"\n\t\"log\"\n)\n\nfunc main() {\n    ctx := context.Background()\n\n    s := mka1.New(\n        mka1.WithSecurity(\"<YOUR_BEARER_TOKEN_HERE>\"),\n    )\n\n    res, err := s.Llm.Evals.GetErrorAnalysis(ctx, \"eval_suite_aa87e2b1112a455b8deabed784372198\", \"eval_ea_aa87e2b1112a455b8deabed784372198\", nil)\n    if err != nil {\n        log.Fatal(err)\n    }\n    if res.EvalErrorAnalysisObject != nil {\n        // handle response\n    }\n}"
components:
  schemas:
    EvalErrorAnalysisObject:
      type: object
      properties:
        id:
          type: string
        object:
          const: eval.error_analysis
        suite_id:
          type: string
        suite_version:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        model:
          type: string
        metric_id:
          type: string
        kind:
          $ref: '#/components/schemas/EvalErrorAnalysisKind'
        status:
          $ref: '#/components/schemas/EvalErrorAnalysisStatus'
        analyzer_model:
          type: string
        prompt_version:
          type: string
        cache_key:
          type: string
        selection:
          type: object
          propertyNames:
            type: string
          additionalProperties: {}
          description: >-
            Recuentos detrás de la muestra: fallos totales, por tarea y por
            nivel, el umbral, el contexto del tablero.
        samples_analysed:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        usage:
          anyOf:
            - $ref: '#/components/schemas/EvalErrorAnalysisUsage'
            - type: 'null'
        error:
          anyOf:
            - type: string
            - type: 'null'
        created_by:
          anyOf:
            - type: string
            - type: 'null'
          description: >-
            El ID de usuario que lo inició; nulo para un lector en una
            organización compartida, que no ve a los usuarios de la organización
            propietaria.
        created_at:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        started_at:
          anyOf:
            - type: integer
              minimum: -9007199254740991
              maximum: 9007199254740991
            - type: 'null'
        finished_at:
          anyOf:
            - type: integer
              minimum: -9007199254740991
              maximum: 9007199254740991
            - type: 'null'
        sample_ids:
          type: array
          items:
            $ref: '#/components/schemas/EvalErrorAnalysisSampleRef'
        tags:
          type: array
          items:
            $ref: '#/components/schemas/EvalErrorAnalysisTag'
        report:
          anyOf:
            - $ref: '#/components/schemas/EvalErrorAnalysisReport'
            - type: 'null'
        report_markdown:
          anyOf:
            - type: string
            - type: 'null'
          description: >-
            El informe se renderiza como Markdown; nulo hasta que se complete el
            análisis.
      required:
        - id
        - object
        - suite_id
        - suite_version
        - model
        - metric_id
        - kind
        - status
        - analyzer_model
        - prompt_version
        - cache_key
        - selection
        - samples_analysed
        - usage
        - error
        - created_by
        - created_at
        - started_at
        - finished_at
        - sample_ids
        - tags
        - report
        - report_markdown
    EvalErrorAnalysisKind:
      enum:
        - tts
        - asr
        - text
      type: string
    EvalErrorAnalysisStatus:
      enum:
        - queued
        - running
        - done
        - failed
      type: string
    EvalErrorAnalysisUsage:
      type: object
      properties:
        analyzer_model:
          type: string
        rate_card_usd_per_1m:
          type: object
          properties:
            input:
              type: number
            output:
              type: number
          required:
            - input
            - output
        calls:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        prompt_tokens:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        prompt_text_tokens:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        prompt_audio_tokens:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        output_tokens:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        thinking_tokens:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        seconds:
          type: number
        usd_input:
          type: number
        usd_output:
          type: number
        usd_total:
          type: number
        per_stage:
          type: object
          propertyNames:
            type: string
          additionalProperties:
            type: object
            properties:
              calls:
                type: integer
                minimum: -9007199254740991
                maximum: 9007199254740991
              prompt_tokens:
                type: integer
                minimum: -9007199254740991
                maximum: 9007199254740991
              output_tokens:
                type: integer
                minimum: -9007199254740991
                maximum: 9007199254740991
              thinking_tokens:
                type: integer
                minimum: -9007199254740991
                maximum: 9007199254740991
              seconds:
                type: number
              usd:
                type: number
            required:
              - calls
              - prompt_tokens
              - output_tokens
              - thinking_tokens
              - seconds
              - usd
        calls_detail:
          type: array
          items:
            $ref: '#/components/schemas/EvalErrorAnalysisUsageCall'
        dropped_ids:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
          description: >-
            Ids de muestra citados que inventó el analizador; eliminados antes
            de almacenar.
        report_attempts:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
          description: >-
            Llamadas de etapa 2 realizadas; más de 1 significa que se reintentó
            una respuesta filtrada.
        samples_without_audio:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
          description: >-
            Muestras de la placa de audio enviadas solo como texto porque no se
            pudo leer su clip.
      required:
        - analyzer_model
        - rate_card_usd_per_1m
        - calls
        - prompt_tokens
        - prompt_text_tokens
        - prompt_audio_tokens
        - output_tokens
        - thinking_tokens
        - seconds
        - usd_input
        - usd_output
        - usd_total
        - per_stage
        - calls_detail
        - dropped_ids
        - report_attempts
        - samples_without_audio
    EvalErrorAnalysisSampleRef:
      type: object
      properties:
        id:
          type: string
          description: ID de cita usado en las etiquetas y en el informe.
        run_id:
          type: string
        task_id:
          type: string
        sample_index:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        tier:
          enum:
            - A
            - B
            - '-'
          type: string
        metric_value:
          type: number
        secondary_value:
          anyOf:
            - type: number
            - type: 'null'
        board_median:
          anyOf:
            - type: number
            - type: 'null'
        others_failing:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        others_total:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        excess_over_board:
          anyOf:
            - type: number
            - type: 'null'
        both_judges_fail:
          type: boolean
      required:
        - id
        - run_id
        - task_id
        - sample_index
        - tier
        - metric_value
        - secondary_value
        - board_median
        - others_failing
        - others_total
        - excess_over_board
        - both_judges_fail
    EvalErrorAnalysisTag:
      type: object
      properties:
        id:
          type: string
          description: ID de cita utilizado en las etiquetas y en el informe.
        run_id:
          type: string
        task_id:
          type: string
        sample_index:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        tier:
          enum:
            - A
            - B
            - '-'
          type: string
        metric_value:
          type: number
        secondary_value:
          anyOf:
            - type: number
            - type: 'null'
        board_median:
          anyOf:
            - type: number
            - type: 'null'
        others_failing:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        others_total:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        excess_over_board:
          anyOf:
            - type: number
            - type: 'null'
        both_judges_fail:
          type: boolean
        heard_text:
          type: string
          description: >-
            Lo que escuchó el analizador (tableros de audio) o una reformulación
            de una sola línea de lo que hizo el modelo (tableros de texto).
        verdict:
          enum:
            - model_error
            - judge_error
            - reference_issue
            - mixed
            - untagged
          type: string
        categories:
          type: array
          items:
            type: string
        primary_category:
          type: string
        severity:
          enum:
            - minor
            - major
            - severe
          type: string
        affected_span:
          type: string
        explanation:
          type: string
        batch:
          type: string
      required:
        - id
        - run_id
        - task_id
        - sample_index
        - tier
        - metric_value
        - secondary_value
        - board_median
        - others_failing
        - others_total
        - excess_over_board
        - both_judges_fail
        - heard_text
        - verdict
        - categories
        - primary_category
        - severity
        - affected_span
        - explanation
        - batch
    EvalErrorAnalysisReport:
      type: object
      properties:
        headline:
          type: string
        overall_assessment:
          type: string
        error_categories:
          type: array
          items:
            type: object
            properties:
              category:
                type: string
              count:
                type: integer
                minimum: -9007199254740991
                maximum: 9007199254740991
              share_of_analysed_failures:
                type: string
              severity:
                enum:
                  - minor
                  - major
                  - severe
                type: string
              what_happens:
                type: string
              example_ids:
                type: array
                items:
                  type: string
            required:
              - category
              - count
              - share_of_analysed_failures
              - severity
              - what_happens
              - example_ids
        weak_tasks:
          type: array
          items:
            type: object
            properties:
              task:
                type: string
              why:
                type: string
              example_ids:
                type: array
                items:
                  type: string
            required:
              - task
              - why
              - example_ids
        judge_and_benchmark_issues:
          type: object
          properties:
            judge_error_count:
              type: integer
              minimum: -9007199254740991
              maximum: 9007199254740991
            reference_issue_count:
              type: integer
              minimum: -9007199254740991
              maximum: 9007199254740991
            note:
              type: string
            example_ids:
              type: array
              items:
                type: string
          required:
            - judge_error_count
            - reference_issue_count
            - note
            - example_ids
        actionable_items:
          type: array
          items:
            type: object
            properties:
              priority:
                type: integer
                minimum: -9007199254740991
                maximum: 9007199254740991
              title:
                type: string
              action_type:
                enum:
                  - text_frontend
                  - serving_config
                  - decoding
                  - training_data
                  - model_architecture
                  - judge_or_metric
                  - benchmark_fix
                type: string
              what_to_do:
                type: string
              why_it_helps:
                type: string
              addresses_categories:
                type: array
                items:
                  type: string
              estimated_share_of_failures_fixed:
                type: string
              evidence_ids:
                type: array
                items:
                  type: string
              confidence:
                enum:
                  - low
                  - medium
                  - high
                type: string
              effort:
                enum:
                  - hours
                  - days
                  - weeks
                type: string
            required:
              - priority
              - title
              - action_type
              - what_to_do
              - why_it_helps
              - addresses_categories
              - estimated_share_of_failures_fixed
              - evidence_ids
              - confidence
              - effort
        strengths:
          type: array
          items:
            type: string
        limits_of_this_analysis:
          type: array
          items:
            type: string
      required:
        - headline
        - overall_assessment
        - error_categories
        - weak_tasks
        - judge_and_benchmark_issues
        - actionable_items
        - strengths
        - limits_of_this_analysis
    EvalErrorAnalysisUsageCall:
      type: object
      properties:
        stage:
          enum:
            - tag
            - report
          type: string
        batch:
          anyOf:
            - type: string
            - type: 'null'
        prompt_tokens:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        prompt_text_tokens:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        prompt_audio_tokens:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        output_tokens:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        thinking_tokens:
          type: integer
          minimum: -9007199254740991
          maximum: 9007199254740991
        seconds:
          type: number
      required:
        - stage
        - batch
        - prompt_tokens
        - prompt_text_tokens
        - prompt_audio_tokens
        - output_tokens
        - thinking_tokens
        - seconds
  securitySchemes:
    bearerAuth:
      type: http
      scheme: bearer
      bearerFormat: API Key
      description: >-
        Send Authorization: Bearer <credential>, using an MKA1 API key for
        automation or an OAuth API access token for a signed-in application. Use
        a dynamic security callback to refresh OAuth access tokens. Browser
        session-only operations still require their declared cookie.

````

This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.