Pular para o conteúdo principal
POST
/
api
/
v1
/
llm
/
evals
/
imports
/
huggingface-results
Python (SDK)
from meetkai_mka1 import SDK


with SDK(
    bearer_auth="<YOUR_BEARER_TOKEN_HERE>",
) as sdk:

    res = sdk.llm.evals.import_historical_results(x_hugging_face_token="hf_your_read_token", source={
        "path_prefix": "qwen/ur/",
    }, suite_name="MKA1 historical eval results", create_missing_tasks=True, dry_run=False, metadata={
        "owner": "eval-team",
    })

    # Handle response
    print(res)
{
  "object": "eval.import",
  "source": {
    "type": "huggingface",
    "repo": "meetkai/lm-eval-harness-result",
    "revision": "main"
  },
  "suite_id": "eval_suite_aa87e2b1112a455b8deabed784372198",
  "suite_version": 1,
  "created_suite": true,
  "created_suite_version": true,
  "dry_run": false,
  "discovered_files": 30,
  "imported_runs": 30,
  "skipped_runs": 0,
  "imported_samples": 8870
}

Autorizações

Authorization
string
header
obrigatório

Gateway auth: send Authorization: Bearer <mka1-api-key>. For multi-user server-side integrations, you can also send X-On-Behalf-Of: <external-user-id>.

Cabeçalhos

X-HuggingFace-Token
string
obrigatório

Caller-owned Hugging Face token with read access to the source dataset repository. Gateway does not use its server-side Hugging Face token for historical imports.

X-On-Behalf-Of
string

Optional external end-user identifier forwarded by the API gateway.

Corpo

application/json
source
object
suite_id
string

Conjunto existente para importar. As tarefas ausentes são adicionadas como uma nova versão por padrão.

suite_name
string
padrão:Historical lm-eval harness results
Required string length: 1 - 255
suite_description
string
Maximum string length: 10000
create_missing_tasks
boolean
padrão:true
dry_run
boolean
padrão:false
limit_files
integer

Número máximo de arquivos de resultado a serem importados do Hugging Face, limitado a 100. As importações de listagem de repositórios têm como padrão 50; importações explícitas de source.files não são limitadas, a menos que isso seja definido.

Intervalo obrigatório: 1 <= x <= 100
metadata
object

Resposta

200 - application/json

OK

object
any
obrigatório
source
object
obrigatório
suite_id
string
obrigatório
suite_version
integer
obrigatório
Intervalo obrigatório: -9007199254740991 <= x <= 9007199254740991
created_suite
boolean
obrigatório
created_suite_version
boolean
obrigatório
dry_run
boolean
obrigatório
discovered_files
integer
obrigatório
Intervalo obrigatório: 0 <= x <= 9007199254740991
imported_runs
integer
obrigatório
Intervalo obrigatório: 0 <= x <= 9007199254740991
skipped_runs
integer
obrigatório
Intervalo obrigatório: 0 <= x <= 9007199254740991
imported_samples
integer
obrigatório
Intervalo obrigatório: 0 <= x <= 9007199254740991