Criar uma execução

Python (SDK)

from meetkai_mka1 import SDK


with SDK(
    bearer_auth="<YOUR_BEARER_TOKEN_HERE>",
) as sdk:

    res = sdk.fine_tune_jobs.create_serving_run(accelerator="<value>", deadline={}, disk_gb=369181, gpu_count=444268, image="https://loremflickr.com/2112/3769?lock=8429739459860585", kind="deployment", startup_script_b64="<value>")

    # Handle response
    print(res)

import { SDK } from "@meetkai/mka1";

const sdk = new SDK({
  bearerAuth: "<YOUR_BEARER_TOKEN_HERE>",
});

async function run() {
  const result = await sdk.fineTuneJobs.createServingRun({
    runCreate: {
      accelerator: "<value>",
      deadline: {},
      diskGb: 369181,
      gpuCount: 444268,
      image: "https://loremflickr.com/2112/3769?lock=8429739459860585",
      kind: "deployment",
      startupScriptB64: "<value>",
    },
  });

  console.log(result);
}

run();

using MeetKai.MKA1;
using MeetKai.MKA1.Types.Components;

var sdk = new SDK(bearerAuth: "<YOUR_BEARER_TOKEN_HERE>");

var res = await sdk.FineTuneJobs.CreateServingRunAsync(body: new RunCreate() {
    Accelerator = "<value>",
    Deadline = new RunDeadline() {},
    DiskGb = 369181,
    GpuCount = 444268,
    Image = "https://loremflickr.com/2112/3769?lock=8429739459860585",
    Kind = RunCreateKind.Deployment,
    StartupScriptB64 = "<value>",
});

// handle response

curl --request POST \
  --url https://apigw.mka1.com/api/v1/serving/runs \
  --header 'Authorization: Bearer <token>' \
  --header 'Content-Type: application/json' \
  --data '
{
  "accelerator": "<string>",
  "deadline": {
    "hours": 123,
    "max_usd": 123
  },
  "disk_gb": 2,
  "gpu_count": 4,
  "image": "<string>",
  "startup_script_b64": "<string>",
  "env": {},
  "interconnect": "<string>",
  "name": "<string>",
  "ports": [
    "<string>"
  ],
  "providers": [
    "<string>"
  ],
  "secrets": [
    "<string>"
  ],
  "ssh_public_key": "<string>"
}
'

const options = {
  method: 'POST',
  headers: {Authorization: 'Bearer <token>', 'Content-Type': 'application/json'},
  body: JSON.stringify({
    accelerator: '<string>',
    deadline: {hours: 123, max_usd: 123},
    disk_gb: 2,
    gpu_count: 4,
    image: '<string>',
    startup_script_b64: '<string>',
    env: {},
    interconnect: '<string>',
    name: '<string>',
    ports: ['<string>'],
    providers: ['<string>'],
    secrets: ['<string>'],
    ssh_public_key: '<string>'
  })
};

fetch('https://apigw.mka1.com/api/v1/serving/runs', options)
  .then(res => res.json())
  .then(res => console.log(res))
  .catch(err => console.error(err));

<?php

$curl = curl_init();

curl_setopt_array($curl, [
  CURLOPT_URL => "https://apigw.mka1.com/api/v1/serving/runs",
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_ENCODING => "",
  CURLOPT_MAXREDIRS => 10,
  CURLOPT_TIMEOUT => 30,
  CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
  CURLOPT_CUSTOMREQUEST => "POST",
  CURLOPT_POSTFIELDS => json_encode([
    'accelerator' => '<string>',
    'deadline' => [
        'hours' => 123,
        'max_usd' => 123
    ],
    'disk_gb' => 2,
    'gpu_count' => 4,
    'image' => '<string>',
    'startup_script_b64' => '<string>',
    'env' => [
        
    ],
    'interconnect' => '<string>',
    'name' => '<string>',
    'ports' => [
        '<string>'
    ],
    'providers' => [
        '<string>'
    ],
    'secrets' => [
        '<string>'
    ],
    'ssh_public_key' => '<string>'
  ]),
  CURLOPT_HTTPHEADER => [
    "Authorization: Bearer <token>",
    "Content-Type: application/json"
  ],
]);

$response = curl_exec($curl);
$err = curl_error($curl);

curl_close($curl);

if ($err) {
  echo "cURL Error #:" . $err;
} else {
  echo $response;
}

package main

import (
	"fmt"
	"strings"
	"net/http"
	"io"
)

func main() {

	url := "https://apigw.mka1.com/api/v1/serving/runs"

	payload := strings.NewReader("{\n  \"accelerator\": \"<string>\",\n  \"deadline\": {\n    \"hours\": 123,\n    \"max_usd\": 123\n  },\n  \"disk_gb\": 2,\n  \"gpu_count\": 4,\n  \"image\": \"<string>\",\n  \"startup_script_b64\": \"<string>\",\n  \"env\": {},\n  \"interconnect\": \"<string>\",\n  \"name\": \"<string>\",\n  \"ports\": [\n    \"<string>\"\n  ],\n  \"providers\": [\n    \"<string>\"\n  ],\n  \"secrets\": [\n    \"<string>\"\n  ],\n  \"ssh_public_key\": \"<string>\"\n}")

	req, _ := http.NewRequest("POST", url, payload)

	req.Header.Add("Authorization", "Bearer <token>")
	req.Header.Add("Content-Type", "application/json")

	res, _ := http.DefaultClient.Do(req)

	defer res.Body.Close()
	body, _ := io.ReadAll(res.Body)

	fmt.Println(string(body))

}

HttpResponse<String> response = Unirest.post("https://apigw.mka1.com/api/v1/serving/runs")
  .header("Authorization", "Bearer <token>")
  .header("Content-Type", "application/json")
  .body("{\n  \"accelerator\": \"<string>\",\n  \"deadline\": {\n    \"hours\": 123,\n    \"max_usd\": 123\n  },\n  \"disk_gb\": 2,\n  \"gpu_count\": 4,\n  \"image\": \"<string>\",\n  \"startup_script_b64\": \"<string>\",\n  \"env\": {},\n  \"interconnect\": \"<string>\",\n  \"name\": \"<string>\",\n  \"ports\": [\n    \"<string>\"\n  ],\n  \"providers\": [\n    \"<string>\"\n  ],\n  \"secrets\": [\n    \"<string>\"\n  ],\n  \"ssh_public_key\": \"<string>\"\n}")
  .asString();

require 'uri'
require 'net/http'

url = URI("https://apigw.mka1.com/api/v1/serving/runs")

http = Net::HTTP.new(url.host, url.port)
http.use_ssl = true

request = Net::HTTP::Post.new(url)
request["Authorization"] = 'Bearer <token>'
request["Content-Type"] = 'application/json'
request.body = "{\n  \"accelerator\": \"<string>\",\n  \"deadline\": {\n    \"hours\": 123,\n    \"max_usd\": 123\n  },\n  \"disk_gb\": 2,\n  \"gpu_count\": 4,\n  \"image\": \"<string>\",\n  \"startup_script_b64\": \"<string>\",\n  \"env\": {},\n  \"interconnect\": \"<string>\",\n  \"name\": \"<string>\",\n  \"ports\": [\n    \"<string>\"\n  ],\n  \"providers\": [\n    \"<string>\"\n  ],\n  \"secrets\": [\n    \"<string>\"\n  ],\n  \"ssh_public_key\": \"<string>\"\n}"

response = http.request(request)
puts response.read_body

{
  "created_at": "2023-11-07T05:31:56Z",
  "id": "<string>",
  "accelerator": "<string>",
  "deadline_at": "2023-11-07T05:31:56Z",
  "endpoint": "<string>",
  "exit_code": 123,
  "gpu_count": 123,
  "image": "<string>",
  "name": "<string>",
  "price_usd_hr": 123,
  "provider": "<string>",
  "reason": "<string>",
  "ssh": {
    "command": "<string>",
    "host": "<string>",
    "port": 123,
    "user": "<string>"
  },
  "started_at": "2023-11-07T05:31:56Z",
  "terminal_at": "2023-11-07T05:31:56Z"
}

{
  "error": {
    "code": "<string>",
    "message": "<string>",
    "type": "<string>"
  }
}

{
  "error": {
    "code": "<string>",
    "message": "<string>",
    "type": "<string>"
  }
}

{
  "error": {
    "code": "<string>",
    "message": "<string>",
    "type": "<string>"
  }
}

{
  "error": {
    "code": "<string>",
    "message": "<string>",
    "type": "<string>"
  }
}

{
  "detail": [
    {
      "loc": [
        "<string>"
      ],
      "msg": "<string>",
      "type": "<string>"
    }
  ]
}

{
  "error": {
    "code": "<string>",
    "message": "<string>",
    "type": "<string>"
  }
}

{
  "error": {
    "code": "<string>",
    "message": "<string>",
    "type": "<string>"
  }
}

POST

api

serving

runs

Python (SDK)

from meetkai_mka1 import SDK


with SDK(
    bearer_auth="<YOUR_BEARER_TOKEN_HERE>",
) as sdk:

    res = sdk.fine_tune_jobs.create_serving_run(accelerator="<value>", deadline={}, disk_gb=369181, gpu_count=444268, image="https://loremflickr.com/2112/3769?lock=8429739459860585", kind="deployment", startup_script_b64="<value>")

    # Handle response
    print(res)

import { SDK } from "@meetkai/mka1";

const sdk = new SDK({
  bearerAuth: "<YOUR_BEARER_TOKEN_HERE>",
});

async function run() {
  const result = await sdk.fineTuneJobs.createServingRun({
    runCreate: {
      accelerator: "<value>",
      deadline: {},
      diskGb: 369181,
      gpuCount: 444268,
      image: "https://loremflickr.com/2112/3769?lock=8429739459860585",
      kind: "deployment",
      startupScriptB64: "<value>",
    },
  });

  console.log(result);
}

run();

using MeetKai.MKA1;
using MeetKai.MKA1.Types.Components;

var sdk = new SDK(bearerAuth: "<YOUR_BEARER_TOKEN_HERE>");

var res = await sdk.FineTuneJobs.CreateServingRunAsync(body: new RunCreate() {
    Accelerator = "<value>",
    Deadline = new RunDeadline() {},
    DiskGb = 369181,
    GpuCount = 444268,
    Image = "https://loremflickr.com/2112/3769?lock=8429739459860585",
    Kind = RunCreateKind.Deployment,
    StartupScriptB64 = "<value>",
});

// handle response

curl --request POST \
  --url https://apigw.mka1.com/api/v1/serving/runs \
  --header 'Authorization: Bearer <token>' \
  --header 'Content-Type: application/json' \
  --data '
{
  "accelerator": "<string>",
  "deadline": {
    "hours": 123,
    "max_usd": 123
  },
  "disk_gb": 2,
  "gpu_count": 4,
  "image": "<string>",
  "startup_script_b64": "<string>",
  "env": {},
  "interconnect": "<string>",
  "name": "<string>",
  "ports": [
    "<string>"
  ],
  "providers": [
    "<string>"
  ],
  "secrets": [
    "<string>"
  ],
  "ssh_public_key": "<string>"
}
'

const options = {
  method: 'POST',
  headers: {Authorization: 'Bearer <token>', 'Content-Type': 'application/json'},
  body: JSON.stringify({
    accelerator: '<string>',
    deadline: {hours: 123, max_usd: 123},
    disk_gb: 2,
    gpu_count: 4,
    image: '<string>',
    startup_script_b64: '<string>',
    env: {},
    interconnect: '<string>',
    name: '<string>',
    ports: ['<string>'],
    providers: ['<string>'],
    secrets: ['<string>'],
    ssh_public_key: '<string>'
  })
};

fetch('https://apigw.mka1.com/api/v1/serving/runs', options)
  .then(res => res.json())
  .then(res => console.log(res))
  .catch(err => console.error(err));

<?php

$curl = curl_init();

curl_setopt_array($curl, [
  CURLOPT_URL => "https://apigw.mka1.com/api/v1/serving/runs",
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_ENCODING => "",
  CURLOPT_MAXREDIRS => 10,
  CURLOPT_TIMEOUT => 30,
  CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
  CURLOPT_CUSTOMREQUEST => "POST",
  CURLOPT_POSTFIELDS => json_encode([
    'accelerator' => '<string>',
    'deadline' => [
        'hours' => 123,
        'max_usd' => 123
    ],
    'disk_gb' => 2,
    'gpu_count' => 4,
    'image' => '<string>',
    'startup_script_b64' => '<string>',
    'env' => [
        
    ],
    'interconnect' => '<string>',
    'name' => '<string>',
    'ports' => [
        '<string>'
    ],
    'providers' => [
        '<string>'
    ],
    'secrets' => [
        '<string>'
    ],
    'ssh_public_key' => '<string>'
  ]),
  CURLOPT_HTTPHEADER => [
    "Authorization: Bearer <token>",
    "Content-Type: application/json"
  ],
]);

$response = curl_exec($curl);
$err = curl_error($curl);

curl_close($curl);

if ($err) {
  echo "cURL Error #:" . $err;
} else {
  echo $response;
}

package main

import (
	"fmt"
	"strings"
	"net/http"
	"io"
)

func main() {

	url := "https://apigw.mka1.com/api/v1/serving/runs"

	payload := strings.NewReader("{\n  \"accelerator\": \"<string>\",\n  \"deadline\": {\n    \"hours\": 123,\n    \"max_usd\": 123\n  },\n  \"disk_gb\": 2,\n  \"gpu_count\": 4,\n  \"image\": \"<string>\",\n  \"startup_script_b64\": \"<string>\",\n  \"env\": {},\n  \"interconnect\": \"<string>\",\n  \"name\": \"<string>\",\n  \"ports\": [\n    \"<string>\"\n  ],\n  \"providers\": [\n    \"<string>\"\n  ],\n  \"secrets\": [\n    \"<string>\"\n  ],\n  \"ssh_public_key\": \"<string>\"\n}")

	req, _ := http.NewRequest("POST", url, payload)

	req.Header.Add("Authorization", "Bearer <token>")
	req.Header.Add("Content-Type", "application/json")

	res, _ := http.DefaultClient.Do(req)

	defer res.Body.Close()
	body, _ := io.ReadAll(res.Body)

	fmt.Println(string(body))

}

HttpResponse<String> response = Unirest.post("https://apigw.mka1.com/api/v1/serving/runs")
  .header("Authorization", "Bearer <token>")
  .header("Content-Type", "application/json")
  .body("{\n  \"accelerator\": \"<string>\",\n  \"deadline\": {\n    \"hours\": 123,\n    \"max_usd\": 123\n  },\n  \"disk_gb\": 2,\n  \"gpu_count\": 4,\n  \"image\": \"<string>\",\n  \"startup_script_b64\": \"<string>\",\n  \"env\": {},\n  \"interconnect\": \"<string>\",\n  \"name\": \"<string>\",\n  \"ports\": [\n    \"<string>\"\n  ],\n  \"providers\": [\n    \"<string>\"\n  ],\n  \"secrets\": [\n    \"<string>\"\n  ],\n  \"ssh_public_key\": \"<string>\"\n}")
  .asString();

require 'uri'
require 'net/http'

url = URI("https://apigw.mka1.com/api/v1/serving/runs")

http = Net::HTTP.new(url.host, url.port)
http.use_ssl = true

request = Net::HTTP::Post.new(url)
request["Authorization"] = 'Bearer <token>'
request["Content-Type"] = 'application/json'
request.body = "{\n  \"accelerator\": \"<string>\",\n  \"deadline\": {\n    \"hours\": 123,\n    \"max_usd\": 123\n  },\n  \"disk_gb\": 2,\n  \"gpu_count\": 4,\n  \"image\": \"<string>\",\n  \"startup_script_b64\": \"<string>\",\n  \"env\": {},\n  \"interconnect\": \"<string>\",\n  \"name\": \"<string>\",\n  \"ports\": [\n    \"<string>\"\n  ],\n  \"providers\": [\n    \"<string>\"\n  ],\n  \"secrets\": [\n    \"<string>\"\n  ],\n  \"ssh_public_key\": \"<string>\"\n}"

response = http.request(request)
puts response.read_body

{
  "created_at": "2023-11-07T05:31:56Z",
  "id": "<string>",
  "accelerator": "<string>",
  "deadline_at": "2023-11-07T05:31:56Z",
  "endpoint": "<string>",
  "exit_code": 123,
  "gpu_count": 123,
  "image": "<string>",
  "name": "<string>",
  "price_usd_hr": 123,
  "provider": "<string>",
  "reason": "<string>",
  "ssh": {
    "command": "<string>",
    "host": "<string>",
    "port": 123,
    "user": "<string>"
  },
  "started_at": "2023-11-07T05:31:56Z",
  "terminal_at": "2023-11-07T05:31:56Z"
}

{
  "error": {
    "code": "<string>",
    "message": "<string>",
    "type": "<string>"
  }
}

{
  "error": {
    "code": "<string>",
    "message": "<string>",
    "type": "<string>"
  }
}

{
  "error": {
    "code": "<string>",
    "message": "<string>",
    "type": "<string>"
  }
}

{
  "error": {
    "code": "<string>",
    "message": "<string>",
    "type": "<string>"
  }
}

{
  "detail": [
    {
      "loc": [
        "<string>"
      ],
      "msg": "<string>",
      "type": "<string>"
    }
  ]
}

{
  "error": {
    "code": "<string>",
    "message": "<string>",
    "type": "<string>"
  }
}

{
  "error": {
    "code": "<string>",
    "message": "<string>",
    "type": "<string>"
  }
}

Autorizações

Authorization

string

header

obrigatório

Gateway auth: send Authorization: Bearer <mka1-api-key>. For multi-user server-side integrations, you can also send X-On-Behalf-Of: <external-user-id>.

Cabeçalhos

X-On-Behalf-Of

string

Optional external end-user identifier forwarded by the API gateway.

Corpo

application/json

accelerator

string

obrigatório

Nome do acelerador curado. GET /accelerators lista o que está disponível.

deadline

RunDeadline · object

obrigatório

Exatamente um entre hours ou max_usd. O custo é taxa x tempo e a taxa é fixada na aquisição, então eles são intercambiáveis — mas não são o mesmo número. Um prazo max_usd só se resolve quando a aquisição fixa a taxa.

Show child attributes

disk_gb

integer

obrigatório

Obrigatório, sem padrão. Deve caber na imagem mais tudo o que o script baixar; se for pequeno demais, o pod morre no meio do download.

Intervalo obrigatório: x >= 1

gpu_count

integer

obrigatório

Aceleradores em um nó. A V1 é de nó único: clusters multinó não são oferecidos pelos provedores que suportamos.

Intervalo obrigatório: 1 <= x <= 8

image

string

obrigatório

Qualquer imagem pública. Ela deve conter bash e, nos provedores onde instalamos o sshd, deve ser da família Debian com apt.

kind

enum<string>

obrigatório

Para que a execução serve. Um fine-tune termina por conta própria e seu código de saída é o resultado; uma implantação atende tráfego e roda até ser excluída. Eles são um único recurso porque são um único pod, um único provedor e um único script — o tipo seleciona a semântica terminal, não uma máquina diferente.

Opções disponíveis:

finetune,

deployment

startup_script_b64

string

obrigatório

Base64 bash. Execute como um processo filho do nosso script de execução; seu código de saída é o resultado da execução. Nunca interpretado.

env

Env · object

Ambiente para a carga de trabalho. Chaves no namespace MKA1_ são reservadas.

Show child attributes

interconnect

string

Filtro opcional na topologia intra-nó, por exemplo, nvlink. O trabalho de tensor-parallel é materialmente mais lento sobre PCIe.

name

string

ports

string[]

Portas do contêiner a serem expostas, por exemplo, "8000/http". Isso faz sentido para uma implantação, que atende tráfego; um fine-tune não tem nada a expor.

providers

string[]

Preferência ordenada, tentada em sequência. Rejeitada enquanto o anonimato do provedor está ativado, porque a lista em si vaza a identidade do provedor.

secrets

string[]

IDs secretos armazenados resolvidos no ambiente imediatamente antes da transferência.

ssh_public_key

string

Sua própria chave pública. Nunca geramos nem armazenamos material de chave privada. Omitir e a execução não terá SSH.

Resposta

A execução, aceita e enviada para aquisição.

created_at

string<date-time>

obrigatório

string

obrigatório

kind

enum<string>

obrigatório

Para que a execução serve. Um fine-tune termina por conta própria e seu código de saída é o resultado; uma implantação atende tráfego e roda até ser excluída. Eles são um único recurso porque são um único pod, um único provider e um único script — o tipo seleciona a semântica terminal, não uma máquina diferente.

Opções disponíveis:

finetune,

deployment

state

enum<string>

obrigatório

Opções disponíveis:

requested,

provisioning,

running,

succeeded,

failed,

terminated

accelerator

string

deadline_at

string<date-time>

endpoint

string

Onde a carga de trabalho atende, uma vez em execução. Somente uma implantação declara portas, então somente uma implantação informa um endpoint.

exit_code

integer

O status de saída da carga de trabalho. O status do provedor não é confiável para isso: um provedor informa a VM em vez do contêiner.

gpu_count

integer

image

string

name

string

price_usd_hr

number

provider

string

reason

string

Por que a execução está nesse estado, por exemplo, ssh_setup_failed ou budget_exhausted.

ssh

RunSSH · object

Detalhes da conexão. O usuário de login depende do provedor e é lido do provedor, nunca presumido.

Show child attributes

started_at

string<date-time>

terminal_at

string<date-time>

Listar execuções

Faça uma corrida

⌘I

Responses API

Agents API

Platform APIs

Administration

Sandbox API

Serving API

Deprecated

Other

Criar uma execução

Autorizações

Cabeçalhos

Corpo

Resposta