Listar amostras de avaliação

GET

api

llm

evals

runs

{run_id}

samples

CSharp (SDK)

using MeetKai.MKA1;
using MeetKai.MKA1.Types.Components;
using MeetKai.MKA1.Types.Requests;

var sdk = new SDK(bearerAuth: "<YOUR_BEARER_TOKEN_HERE>");

ListEvalSamplesRequest req = new ListEvalSamplesRequest() {
    RunId = "eval_run_aa87e2b1112a455b8deabed784372198",
};

var res = await sdk.Llm.Evals.ListSamplesAsync(req);

// handle response

from meetkai_mka1 import SDK


with SDK(
    bearer_auth="<YOUR_BEARER_TOKEN_HERE>",
) as sdk:

    res = sdk.llm.evals.list_samples(run_id="eval_run_aa87e2b1112a455b8deabed784372198", limit=100, include_dataset_row=True, include_reasoning=False)

    # Handle response
    print(res)

import { SDK } from "@meetkai/mka1";

const sdk = new SDK({
  bearerAuth: "<YOUR_BEARER_TOKEN_HERE>",
});

async function run() {
  const result = await sdk.llm.evals.listSamples({
    runId: "eval_run_aa87e2b1112a455b8deabed784372198",
  });

  console.log(result);
}

run();

package main

import(
	"context"
	mka1 "github.com/MeetKai/mka1-sdks/go"
	"github.com/MeetKai/mka1-sdks/go/models/operations"
	"log"
)

func main() {
    ctx := context.Background()

    s := mka1.New(
        mka1.WithSecurity("<YOUR_BEARER_TOKEN_HERE>"),
    )

    res, err := s.Llm.Evals.ListSamples(ctx, operations.ListEvalSamplesRequest{
        RunID: "eval_run_aa87e2b1112a455b8deabed784372198",
    })
    if err != nil {
        log.Fatal(err)
    }
    if res.EvalSampleList != nil {
        // handle response
    }
}

const options = {method: 'GET', headers: {Authorization: 'Bearer <token>'}};

fetch('https://apigw.mka1.com/api/v1/llm/evals/runs/{run_id}/samples', options)
  .then(res => res.json())
  .then(res => console.log(res))
  .catch(err => console.error(err));

<?php

$curl = curl_init();

curl_setopt_array($curl, [
  CURLOPT_URL => "https://apigw.mka1.com/api/v1/llm/evals/runs/{run_id}/samples",
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_ENCODING => "",
  CURLOPT_MAXREDIRS => 10,
  CURLOPT_TIMEOUT => 30,
  CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
  CURLOPT_CUSTOMREQUEST => "GET",
  CURLOPT_HTTPHEADER => [
    "Authorization: Bearer <token>"
  ],
]);

$response = curl_exec($curl);
$err = curl_error($curl);

curl_close($curl);

if ($err) {
  echo "cURL Error #:" . $err;
} else {
  echo $response;
}

require 'uri'
require 'net/http'

url = URI("https://apigw.mka1.com/api/v1/llm/evals/runs/{run_id}/samples")

http = Net::HTTP.new(url.host, url.port)
http.use_ssl = true

request = Net::HTTP::Get.new(url)
request["Authorization"] = 'Bearer <token>'

response = http.request(request)
puts response.read_body

{
  "object": "list",
  "data": [
    {
      "id": "<string>",
      "object": "eval.sample",
      "run_id": "<string>",
      "task_id": "<string>",
      "model": "<string>",
      "sample_index": 0,
      "status": "queued",
      "dataset_row": {},
      "prompt": "<string>",
      "target": "<string>",
      "response_id": "<string>",
      "output_text": "<string>",
      "reasoning": "<string>",
      "extracted_output": "<string>",
      "scores": {},
      "judge": {},
      "error": {},
      "cost_usd": 123,
      "input_tokens": 0,
      "output_tokens": 0,
      "cached_tokens": 0,
      "reasoning_tokens": 0,
      "tokens_estimated": true,
      "phase_timings": {},
      "created_at": 0,
      "started_at": 0,
      "completed_at": 0
    }
  ],
  "has_more": true,
  "first_id": "<string>",
  "last_id": "<string>"
}

Autorizações

Authorization

string

header

obrigatório

Send Authorization: Bearer , using an MKA1 API key for automation or an OAuth API access token for a signed-in application. Use a dynamic security callback to refresh OAuth access tokens. Browser session-only operations still require their declared cookie.

Cabeçalhos

X-On-Behalf-Of

string

Optional external end-user identifier forwarded by the API gateway.

Parâmetros de caminho

run_id

string

obrigatório

Parâmetros de consulta

after

string

limit

integer

padrão:100

Intervalo obrigatório: 1 <= x <= 500

task_id

string

model

string

status

enum<string>

Opções disponíveis:

queued,

generating,

ready_to_score,

scoring,

running,

completed,

failed

score_metric

string

Chave de métrica numérica dentro do jsonb scores para filtrar (por exemplo, wer, cer, accuracy). Obrigatório quando score_min/score_max estão definidos. Apenas amostras cuja métrica seja um número correspondem — amostras sem pontuação (na fila/fracassadas, scores = {}) são excluídas. A chave é correspondida como uma única chave jsonb de nível superior, então wer.avg consulta a chave literal "wer.avg" em vez de um caminho aninhado.

Maximum string length: 128

Pattern: ^[\w.-]+$

score_min

number

Limite inferior inclusivo para score_metric. Requer score_metric. Um limite unilateral depende da ordenação numérica do jsonb, então mantenha a métrica numérica.

Intervalo obrigatório: -9007199254740991 <= x <= 9007199254740991

score_max

number

Limite superior inclusivo para score_metric. Requer score_metric.

Intervalo obrigatório: -9007199254740991 <= x <= 9007199254740991

include_dataset_row

boolean

padrão:true

Defina como false para ignorar a coluna dataset_row (potencialmente grande, por exemplo, áudio ASR embutido) — a coluna não é lida do Postgres de forma alguma, e cada amostra retorna com dataset_row: null (indistinguível de uma amostra que realmente não a tenha). Chamadores que precisam apenas de scores/saída (comparação de modelos) evitam a leitura TOAST + o parse de JSON. O padrão é true.

include_reasoning

boolean

padrão:false

Defina como verdadeiro para incluir a coluna reasoning do modelo. Desativado por padrão: o reasoning normalmente leva várias vezes mais tempo do que a resposta, e o de cada amostra é limitado a 64 KB. Por isso, limit deve ser <= 100 quando isso for verdadeiro — uma página maior é rejeitada com 400 em vez de ser permitida a atingir dezenas de megabytes. Quando falso, a coluna não é lida do Postgres de forma alguma e cada amostra retorna com reasoning: null — indistinguível de uma amostra que realmente não tenha nenhum, então não trate um null aqui como evidência de que o modelo não raciocinou.

sample_index

string

Índices de amostra separados por vírgulas para restringir (sem duplicatas, máximo de 500). Permite que um chamador busque apenas as linhas atualmente na tela (por exemplo, carregar áudio para uma página de pares de comparação). Observe que um único índice pode retornar várias linhas, já que os índices são únicos por (tarefa, modelo), e 500 índices podem abranger mais de uma página, já que limit também tem limite máximo de 500.

Maximum string length: 6000

Pattern: ^\d+(,\d+)*$

Resposta

200 - application/json

object

any

obrigatório

data

object[]

obrigatório

Show child attributes

has_more

boolean

obrigatório

first_id

string

last_id

string

⌘I

CSharp (SDK)

using MeetKai.MKA1;
using MeetKai.MKA1.Types.Components;
using MeetKai.MKA1.Types.Requests;

var sdk = new SDK(bearerAuth: "<YOUR_BEARER_TOKEN_HERE>");

ListEvalSamplesRequest req = new ListEvalSamplesRequest() {
    RunId = "eval_run_aa87e2b1112a455b8deabed784372198",
};

var res = await sdk.Llm.Evals.ListSamplesAsync(req);

// handle response

from meetkai_mka1 import SDK


with SDK(
    bearer_auth="<YOUR_BEARER_TOKEN_HERE>",
) as sdk:

    res = sdk.llm.evals.list_samples(run_id="eval_run_aa87e2b1112a455b8deabed784372198", limit=100, include_dataset_row=True, include_reasoning=False)

    # Handle response
    print(res)

import { SDK } from "@meetkai/mka1";

const sdk = new SDK({
  bearerAuth: "<YOUR_BEARER_TOKEN_HERE>",
});

async function run() {
  const result = await sdk.llm.evals.listSamples({
    runId: "eval_run_aa87e2b1112a455b8deabed784372198",
  });

  console.log(result);
}

run();

package main

import(
	"context"
	mka1 "github.com/MeetKai/mka1-sdks/go"
	"github.com/MeetKai/mka1-sdks/go/models/operations"
	"log"
)

func main() {
    ctx := context.Background()

    s := mka1.New(
        mka1.WithSecurity("<YOUR_BEARER_TOKEN_HERE>"),
    )

    res, err := s.Llm.Evals.ListSamples(ctx, operations.ListEvalSamplesRequest{
        RunID: "eval_run_aa87e2b1112a455b8deabed784372198",
    })
    if err != nil {
        log.Fatal(err)
    }
    if res.EvalSampleList != nil {
        // handle response
    }
}

const options = {method: 'GET', headers: {Authorization: 'Bearer <token>'}};

fetch('https://apigw.mka1.com/api/v1/llm/evals/runs/{run_id}/samples', options)
  .then(res => res.json())
  .then(res => console.log(res))
  .catch(err => console.error(err));

<?php

$curl = curl_init();

curl_setopt_array($curl, [
  CURLOPT_URL => "https://apigw.mka1.com/api/v1/llm/evals/runs/{run_id}/samples",
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_ENCODING => "",
  CURLOPT_MAXREDIRS => 10,
  CURLOPT_TIMEOUT => 30,
  CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
  CURLOPT_CUSTOMREQUEST => "GET",
  CURLOPT_HTTPHEADER => [
    "Authorization: Bearer <token>"
  ],
]);

$response = curl_exec($curl);
$err = curl_error($curl);

curl_close($curl);

if ($err) {
  echo "cURL Error #:" . $err;
} else {
  echo $response;
}

require 'uri'
require 'net/http'

url = URI("https://apigw.mka1.com/api/v1/llm/evals/runs/{run_id}/samples")

http = Net::HTTP.new(url.host, url.port)
http.use_ssl = true

request = Net::HTTP::Get.new(url)
request["Authorization"] = 'Bearer <token>'

response = http.request(request)
puts response.read_body

{
  "object": "list",
  "data": [
    {
      "id": "<string>",
      "object": "eval.sample",
      "run_id": "<string>",
      "task_id": "<string>",
      "model": "<string>",
      "sample_index": 0,
      "status": "queued",
      "dataset_row": {},
      "prompt": "<string>",
      "target": "<string>",
      "response_id": "<string>",
      "output_text": "<string>",
      "reasoning": "<string>",
      "extracted_output": "<string>",
      "scores": {},
      "judge": {},
      "error": {},
      "cost_usd": 123,
      "input_tokens": 0,
      "output_tokens": 0,
      "cached_tokens": 0,
      "reasoning_tokens": 0,
      "tokens_estimated": true,
      "phase_timings": {},
      "created_at": 0,
      "started_at": 0,
      "completed_at": 0
    }
  ],
  "has_more": true,
  "first_id": "<string>",
  "last_id": "<string>"
}

Responses and conversations

Models and routing

Images and audio

Files and retrieval

Agents

Tools and sandbox

Evals and feedback

Compute

Repositories

Dataset generations

Organizations and access

Usage and budgets

Application utilities

Analytics

Legacy APIs

Additional APIs

Listar amostras de avaliação

Autorizações

Cabeçalhos

Parâmetros de caminho

Parâmetros de consulta

Resposta