Saltar al contenido principal
POST
/
api
/
v1
/
serving
/
deployments
Python (SDK)
from meetkai_mka1 import SDK


with SDK(
    bearer_auth="<YOUR_BEARER_TOKEN_HERE>",
) as sdk:

    res = sdk.serving.deployments.create(name="llama-3-8b-chat", model="meta-llama/Llama-3.1-8B-Instruct", accelerator={
        "type": "H100",
        "fallback": [
            "H100",
            "MI300X",
        ],
    }, secrets=[
        "hf-token",
    ], engine_args=[
        "--max-model-len",
        "8192",
    ], endpoint_auth=True)

    # Handle response
    print(res)
{
  "id": "<string>",
  "name": "<string>",
  "model": "<string>",
  "accelerator": {
    "type": "<string>",
    "count": 1,
    "fallback": [
      "<string>"
    ]
  },
  "scaling": {
    "min_containers": 0,
    "max_containers": 1,
    "buffer_containers": 0,
    "scaledown_window_s": 300,
    "max_concurrent_inputs": 100
  },
  "image": "<string>",
  "revision": 123,
  "created_at": "2023-11-07T05:31:56Z",
  "updated_at": "2023-11-07T05:31:56Z",
  "url": "<string>"
}

Autorizaciones

​
Authorization
string
header
requerido

Gateway auth: send Authorization: Bearer <mka1-api-key>. For multi-user server-side integrations, you can also send X-On-Behalf-Of: <external-user-id>.

Encabezados

​
X-On-Behalf-Of
string

Optional external end-user identifier forwarded by the API gateway.

Cuerpo

application/json

Iniciar un servidor de inferencia.

​
name
string
requerido
Ejemplo:

"llama-3-8b-chat"

​
model
string
requerido
Ejemplo:

"meta-llama/Llama-3.1-8B-Instruct"

​
accelerator
AcceleratorSpec · object
requerido

Una solicitud de acelerador de hardware — GPU, NPU, TPU o similar.

Solicita un acelerador por tipo y cantidad, con tipos de reserva opcionales.

​
engine
enum<string>
predeterminado:vllm

Motor de inferencia que respalda una implementación.

Opciones disponibles:
vllm,
sglang
​
scaling
Scaling · object

Configuración de autoescalado para una implementación.

​
image
string | null

Nombre/ID de una imagen compilada; por defecto, la imagen estándar del motor

​
volume
string | null

Volumen montado para pesos en caché

​
secrets
string[]
Ejemplo:
["hf-token"]
​
engine_args
string[]

Banderas adicionales pasadas al comando de inicio del motor

Ejemplo:
["--max-model-len", "8192"]
​
endpoint_auth
boolean
predeterminado:true

Requerir una clave de endpoint (separada de la propia clave API del modelo)

​
strategy
enum<string>
predeterminado:rolling

Cómo se implementa un cambio de configuración o una reversión.

Opciones disponibles:
rolling,
recreate

Respuesta

Respuesta Exitosa

Un servidor de inferencia desplegado.

​
id
string
requerido
​
name
string
requerido
​
status
enum<string>
requerido
Opciones disponibles:
provisioning,
ready,
scaling,
updating,
error,
stopped
​
model
string
requerido
​
engine
enum<string>
requerido

Motor de inferencia que respalda una implementación.

Opciones disponibles:
vllm,
sglang
​
accelerator
AcceleratorSpec · object
requerido

Una solicitud de acelerador de hardware — GPU, NPU, TPU o similar.

Solicita un acelerador por tipo y cantidad, con tipos de reserva opcionales.

​
scaling
Scaling · object
requerido

Configuración de autoescalado para una implementación.

​
image
string | null
requerido
​
revision
integer
requerido

Revisión actual de la configuración

​
created_at
string<date-time>
requerido
​
updated_at
string<date-time>
requerido
​
url
string | null

Punto final público una vez listo