Pular para o conteúdo principal
PATCH
/
api
/
v1
/
serving
/
deployments
/
{deployment_id}
/
scaling
Python (SDK)
from meetkai_mka1 import SDK


with SDK(
    bearer_auth="<YOUR_BEARER_TOKEN_HERE>",
) as sdk:

    res = sdk.serving.deployments.update_scaling(deployment_id="<id>", min_containers=0, max_containers=1, buffer_containers=0, scaledown_window_s=300, max_concurrent_inputs=100)

    # Handle response
    print(res)
{
  "id": "<string>",
  "name": "<string>",
  "model": "<string>",
  "accelerator": {
    "type": "<string>",
    "count": 1,
    "fallback": [
      "<string>"
    ]
  },
  "scaling": {
    "min_containers": 0,
    "max_containers": 1,
    "buffer_containers": 0,
    "scaledown_window_s": 300,
    "max_concurrent_inputs": 100
  },
  "image": "<string>",
  "revision": 123,
  "created_at": "2023-11-07T05:31:56Z",
  "updated_at": "2023-11-07T05:31:56Z",
  "url": "<string>"
}

Autorizações

​
Authorization
string
header
obrigatório

Gateway auth: send Authorization: Bearer <mka1-api-key>. For multi-user server-side integrations, you can also send X-On-Behalf-Of: <external-user-id>.

Cabeçalhos

​
X-On-Behalf-Of
string

Optional external end-user identifier forwarded by the API gateway.

Parâmetros de caminho

​
deployment_id
string
obrigatório

Corpo

application/json

Configuração de escalonamento automático para uma implantação.

​
min_containers
integer
padrão:0

Réplicas quentes para manter sempre

Intervalo obrigatório: x >= 0
​
max_containers
integer
padrão:1

Teto de réplica

Intervalo obrigatório: x >= 1
​
buffer_containers
integer
padrão:0

Réplicas ociosas mantidas prontas para picos

Intervalo obrigatório: x >= 0
​
scaledown_window_s
integer
padrão:300

Segundos de inatividade antes que uma réplica seja encerrada

Intervalo obrigatório: 2 <= x <= 1200
​
max_concurrent_inputs
integer
padrão:100

Solicitações em voo que uma única réplica aceita de uma vez

Intervalo obrigatório: x >= 1

Resposta

Resposta Bem-Sucedida

Um servidor de inferência implantado.

​
id
string
obrigatório
​
name
string
obrigatório
​
status
enum<string>
obrigatório
Opções disponíveis:
provisioning,
ready,
scaling,
updating,
error,
stopped
​
model
string
obrigatório
​
engine
enum<string>
obrigatório

Motor de inferência que dá suporte a uma implantação.

Opções disponíveis:
vllm,
sglang
​
accelerator
AcceleratorSpec · object
obrigatório

Uma solicitação de acelerador de hardware — GPU, NPU, TPU ou مشابه.

Solicite um acelerador por tipo e quantidade, com tipos de fallback opcionais.

​
scaling
Scaling · object
obrigatório

Configuração de escalonamento automático para uma implantação.

​
image
string | null
obrigatório
​
revision
integer
obrigatório

Revisão de configuração atual

​
created_at
string<date-time>
obrigatório
​
updated_at
string<date-time>
obrigatório
​
url
string | null

Endpoint público quando estiver pronto