> ## Documentation Index > Fetch the complete documentation index at: https://docs.mka1.com/llms.txt > Use this file to discover all available pages before exploring further. # Crear una implementación de inferencia > Crea e inicia una implementación de inferencia para un modelo y devuelve su punto de conexión. ## OpenAPI ````yaml https://apigw.mka1.com/speakeasy.json?language=es post /api/v1/serving/deployments openapi: 3.1.1 info: title: MKA1 API version: 1.1.0 description: >- La API MKA1 es una API RESTful que proporciona acceso a la plataforma MKA1. Aprende cómo comenzar con la API y el SDK de TypeScript [aquí](https://mka1.apidocumentation.com/guides/getting-started). license: name: Propietario servers: - url: https://apigw.mka1.com description: MKA1 API Gateway - url: / description: Relative server URL (configurable via SDK constructor) security: [] tags: - name: Resource Authorization description: >- Gestiona permisos para recursos LLM. Crea recursos, otorga/revoca permisos y elimina recursos. Solo los propietarios de recursos pueden otorgar, revocar o eliminar permisos. x-displayName: Autorización de Recursos - name: Embeddings description: >- Puntos finales de la API de incrustación de texto para generar representaciones vectoriales del texto. Crea incrustaciones semánticas para búsqueda, agrupamiento y coincidencia de similitudes utilizando varios modelos de incrustación. x-displayName: Incrustaciones - name: Feedback description: >- API de retroalimentación del usuario para calificar y comentar sobre las completaciones de chat. Recopila calificaciones de pulgares arriba/abajo y comentarios detallados para mejorar las respuestas del modelo y rastrear la satisfacción del usuario. x-displayName: Retroalimentación - name: Images description: >- Puntos finales de la API de generación de imágenes para crear imágenes a partir de descripciones de texto. Genera imágenes con control sobre el tamaño, la calidad y el estilo. x-displayName: Imágenes - name: MCP Vault description: >- API de bóveda MCP para almacenar configuraciones de servidor MCP propiedad del usuario y credenciales encriptadas. Los agentes hacen referencia a los ID de la bóveda para que los secretos se resuelvan solo en el momento de la ejecución de la herramienta. x-displayName: Bóveda MCP - name: Speech description: >- Puntos finales de la API de voz para el procesamiento de audio. Convierte texto en habla natural (TTS) o transcribe el habla a texto (STT) en diferentes idiomas. x-displayName: Discurso - name: Usage description: >- API de seguimiento de uso y análisis para monitorear el consumo de tokens, la cantidad de solicitudes y el análisis de costos. Visualiza estadísticas detalladas por usuario, modelo y período de tiempo. x-displayName: Uso - name: Extract description: >- API de extracción de datos estructurados para extraer información de archivos. Define esquemas JSON para extraer datos estructurados de imágenes, PDFs y documentos. Soporta plantillas de esquemas reutilizables. x-displayName: Extracción - name: Text Classification description: >- API de clasificación de texto para categorizar texto en etiquetas predefinidas. Utilice modelos de IA para clasificar el contenido del texto para análisis de sentimientos, categorización de temas y moderación de contenido. x-displayName: Clasificación de Texto - name: Responses description: >- API de respuestas impulsadas por agentes para crear agentes de IA con uso autónomo de herramientas. Crea asistentes conversacionales que pueden utilizar búsqueda en la web, operaciones con archivos, generación de imágenes, ejecución de código, simulación de uso de computadoras e integraciones de MCP. Soporta procesamiento en segundo plano, transmisión y seguimiento de estado en tiempo real. x-displayName: Respuestas - name: Files description: >- API de gestión de archivos para cargar, almacenar y gestionar archivos con expiración automática e integración con S3. Carga archivos que se pueden usar con Asistentes, Almacenes Vectoriales y otras funciones. Los archivos se almacenan en S3 con metadatos rastreados en PostgreSQL. Soporta la limpieza automática de archivos expirados. x-displayName: Archivos - name: Vector Stores description: >- API de almacenamiento de vectores para almacenar y buscar documentos utilizando incrustaciones. Crea almacenes de vectores, sube archivos con fragmentación automática y generación de incrustaciones, y realiza búsquedas semánticas. Los archivos se procesan de forma asincrónica utilizando flujos de trabajo de Temporal para durabilidad. Soporta limpieza automática de almacenes caducados y LanceDB para almacenamiento eficiente de vectores. x-displayName: Almacenes de Vectores - name: Conversations description: >- API de gestión de conversaciones para almacenar y recuperar el estado de la conversación a través de llamadas a la API de respuesta. Crea conversaciones, añade elementos (mensajes de usuario, mensajes del asistente, mensajes del sistema) y mantiene el historial de la conversación. Soporta seguimiento de metadatos y gestión del estado del diálogo en múltiples turnos. x-displayName: Conversaciones - name: Guardrails description: >- API de salvaguardias de seguridad de IA para configurar la moderación de contenido y las políticas de seguridad. Configura listas de palabras prohibidas, detección de inyección de mensajes y prevención de filtración de mensajes del sistema. Las salvaguardias se aplican a todas las solicitudes de una cuenta y se pueden probar antes del despliegue. x-displayName: Barandillas - name: Models description: >- API de listado de modelos para descubrir modelos disponibles. Devuelve IDs de modelos, propiedad y metadatos para todos los modelos registrados en la puerta de enlace. x-displayName: Modelos - name: Skills description: >- API de habilidades para gestionar paquetes de instrucciones y archivos versionados siguiendo el estándar de Habilidades del Agente. Crea, versiona y descarga paquetes de habilidades reutilizables que incluyen manifiestos SKILL.md para entornos de agentes. x-displayName: Habilidades - name: Chat Completions description: >- **Obsoleto: Usa la API de Respuestas (`/api/v1/llm/responses`) en su lugar.** Puntos finales de completación de chat con soporte para transmisión, llamadas a herramientas y múltiples proveedores. x-deprecated: true x-displayName: Completaciones de Chat - name: Batches x-displayName: Lotes - name: Evals x-displayName: Evaluaciones - name: Fine-Tuning x-displayName: Ajuste fino - name: Memory Stores x-displayName: Almacenes de memoria - name: Prompts x-displayName: Sugerencias - name: Tables description: Gestionar esquemas de tablas, operaciones de datos, búsqueda e índices. x-displayName: Mesas - name: Text Store description: >- Gestiona almacenes de texto con búsqueda híbrida (vector + texto completo) y conjuntos de texto agrupados. x-displayName: Tienda de Texto - name: GraphRAG description: >- Construya y consulte gráficos de conocimiento livianos respaldados por Redis y LanceDB. x-displayName: GraphRAG - name: API Key x-displayName: Clave de API - name: Organization x-displayName: Organización - name: Cluster Admin x-displayName: Administrador de clúster - name: Sessions description: Crear, inspeccionar, acceder y terminar sesiones de sandbox. x-displayName: Sesiones - name: Browser description: >- Conéctate a las sesiones del navegador a través del proxy del puerto de la puerta de enlace. Las sesiones del navegador exponen un punto final del Protocolo de DevTools de Chrome en el puerto 9222. x-displayName: Navegador - name: Execution description: >- Ejecutar comandos de shell y código dentro de una sesión de sandbox existente. x-displayName: Ejecución - name: Workspace description: >- Inspeccionar el manifiesto del espacio de trabajo, transferir archivos o archivos comprimidos, y descargar artefactos generados. x-displayName: Espacio de trabajo - name: Sandbox Usage x-displayName: Uso de Sandbox - name: Agents description: Crea y gestiona definiciones de agentes reutilizables. x-displayName: Agentes - name: Agent Versions description: >- Inspeccionar el historial de configuración de un agente y revertir a una versión anterior. x-displayName: Versiones de Agente - name: Agent Runs description: >- Ejecutar agentes guardados e inspeccionar los resultados de ejecución persistidos. x-displayName: Ejecuta Agentes - name: Agent Schedules description: >- Crea y gestiona ejecuciones de agentes programadas o recurrentes guardadas. x-displayName: Horarios de Agentes - name: schema-5_other x-displayName: otro - name: Budgets x-displayName: Presupuestos - name: Settings x-displayName: Configuración - name: Deployments description: Servidores de inferencia de larga duración. x-displayName: Implementaciones - name: Fine-Tune Jobs description: Enviar, monitorear y cancelar trabajos de ajuste fino. x-displayName: Trabajos de ajuste fino - name: Container Images description: Imágenes de contenedor personalizadas para implementaciones y trabajos. x-displayName: Imágenes de contenedores - name: Serving Models description: Modelos registrados para implementación y ajuste fino. x-displayName: Sirviendo modelos - name: Volumes description: Almacenamiento persistente para pesos y puntos de control. x-displayName: Volúmenes - name: Secrets description: Credenciales inyectadas en tus cargas de trabajo. x-displayName: Secretos - name: Accelerators description: Tipos de aceleradores disponibles (GPU, NPU, TPU). x-displayName: Aceleradores paths: /api/v1/serving/deployments: post: tags: - Deployments summary: Crear una implementación de inferencia description: >- Crea e inicia una implementación de inferencia para un modelo y devuelve su punto de conexión. operationId: createDeployment parameters: - name: X-On-Behalf-Of in: header required: false schema: type: string description: Optional external end-user identifier forwarded by the API gateway. requestBody: required: true content: application/json: schema: $ref: '#/components/schemas/DeploymentCreate' responses: '201': description: Respuesta Exitosa content: application/json: schema: $ref: '#/components/schemas/Deployment' '401': description: Falta el token de portador o no es válido. '403': description: El servicio no está habilitado para su inquilino. content: application/json: schema: $ref: '#/components/schemas/ServingError' '422': description: Error de validación content: application/json: schema: $ref: '#/components/schemas/ServingHTTPValidationError' security: - bearerAuth: [] x-codeSamples: - lang: python label: Python (SDK) source: |- from meetkai_mka1 import SDK with SDK( bearer_auth="", ) as sdk: res = sdk.serving.deployments.create(name="llama-3-8b-chat", model="meta-llama/Llama-3.1-8B-Instruct", accelerator={ "type": "H100", "fallback": [ "H100", "MI300X", ], }, secrets=[ "hf-token", ], engine_args=[ "--max-model-len", "8192", ], endpoint_auth=True) # Handle response print(res) - lang: typescript label: Typescript (SDK) source: |- import { SDK } from "@meetkai/mka1"; const sdk = new SDK({ bearerAuth: "", }); async function run() { const result = await sdk.serving.deployments.create({ deploymentCreate: { name: "llama-3-8b-chat", model: "meta-llama/Llama-3.1-8B-Instruct", accelerator: { type: "H100", fallback: [ "H100", "MI300X", ], }, secrets: [ "hf-token", ], engineArgs: [ "--max-model-len", "8192", ], }, }); console.log(result); } run(); - lang: csharp label: CSharp (SDK) source: >- using MeetKai.MKA1; using MeetKai.MKA1.Types.Components; using System.Collections.Generic; var sdk = new SDK(bearerAuth: ""); var res = await sdk.Serving.Deployments.CreateAsync(body: new DeploymentCreate() { Name = "llama-3-8b-chat", Model = "meta-llama/Llama-3.1-8B-Instruct", Accelerator = new AcceleratorSpec() { Type = "H100", Fallback = new List() { "H100", "MI300X", }, }, Secrets = new List() { "hf-token", }, EngineArgs = new List() { "--max-model-len", "8192", }, }); // handle response components: schemas: DeploymentCreate: properties: name: type: string title: Name examples: - llama-3-8b-chat model: type: string title: Model examples: - meta-llama/Llama-3.1-8B-Instruct engine: $ref: '#/components/schemas/Engine' default: vllm accelerator: $ref: '#/components/schemas/AcceleratorSpec' scaling: $ref: '#/components/schemas/Scaling' image: anyOf: - type: string - type: 'null' title: Image description: >- Nombre/ID de una imagen compilada; por defecto, la imagen estándar del motor volume: anyOf: - type: string - type: 'null' title: Volume description: Volumen montado para pesos en caché secrets: items: type: string type: array title: Secrets examples: - - hf-token engine_args: items: type: string type: array title: Engine Args description: Banderas adicionales pasadas al comando de inicio del motor examples: - - '--max-model-len' - '8192' endpoint_auth: type: boolean title: Endpoint Auth description: >- Requerir una clave de endpoint (separada de la propia clave API del modelo) default: true strategy: $ref: '#/components/schemas/DeployStrategy' default: rolling type: object required: - name - model - accelerator title: DeploymentCreate description: Iniciar un servidor de inferencia. Deployment: properties: id: type: string title: Id name: type: string title: Name status: type: string enum: - provisioning - ready - scaling - updating - error - stopped title: Status url: anyOf: - type: string - type: 'null' title: Url description: Punto final público una vez listo model: type: string title: Model engine: $ref: '#/components/schemas/Engine' accelerator: $ref: '#/components/schemas/AcceleratorSpec' scaling: $ref: '#/components/schemas/Scaling' image: anyOf: - type: string - type: 'null' title: Image revision: type: integer title: Revision description: Revisión actual de la configuración created_at: type: string format: date-time title: Created At updated_at: type: string format: date-time title: Updated At type: object required: - id - name - status - model - engine - accelerator - scaling - image - revision - created_at - updated_at title: Deployment description: Un servidor de inferencia desplegado. ServingError: properties: error: $ref: '#/components/schemas/ErrorDetail' type: object required: - error title: ServingError description: Envolvente de error estándar. ServingHTTPValidationError: properties: detail: items: $ref: '#/components/schemas/ServingValidationError' type: array title: Detail type: object title: ServingHTTPValidationError Engine: type: string enum: - vllm - sglang title: Engine description: Motor de inferencia que respalda una implementación. AcceleratorSpec: properties: type: type: string title: Type examples: - H100 - MI300X - gaudi3 - trn2 count: type: integer maximum: 8 minimum: 1 title: Count description: Aceleradores por réplica default: 1 fallback: items: type: string type: array title: Fallback description: Tipos de respaldo ordenados si el principal no está disponible examples: - - H100 - MI300X type: object required: - type title: AcceleratorSpec description: >- Una solicitud de acelerador de hardware — GPU, NPU, TPU o similar. Solicita un acelerador por tipo y cantidad, con tipos de reserva opcionales. Scaling: properties: min_containers: type: integer minimum: 0 title: Min Containers description: Réplicas cálidas para guardar siempre default: 0 max_containers: type: integer minimum: 1 title: Max Containers description: Techo réplica default: 1 buffer_containers: type: integer minimum: 0 title: Buffer Containers description: Réplicas inactivas mantenidas listas para ráfagas default: 0 scaledown_window_s: type: integer maximum: 1200 minimum: 2 title: Scaledown Window S description: Segundos de inactividad antes de que se elimine una réplica default: 300 max_concurrent_inputs: type: integer minimum: 1 title: Max Concurrent Inputs description: Solicitudes en vuelo que una sola réplica acepta a la vez default: 100 type: object title: Scaling description: Configuración de autoescalado para una implementación. DeployStrategy: type: string enum: - rolling - recreate title: DeployStrategy description: Cómo se implementa un cambio de configuración o una reversión. ErrorDetail: properties: code: type: string title: Code examples: - tenant_not_provisioned message: type: string title: Message type: type: string title: Type examples: - authorization_error type: object required: - code - message - type title: ErrorDetail description: El cuerpo de una respuesta de error. ServingValidationError: properties: loc: items: anyOf: - type: string - type: integer type: array title: Location msg: type: string title: Message type: type: string title: Error Type input: title: Input ctx: type: object title: Context type: object required: - loc - msg - type title: ServingValidationError securitySchemes: bearerAuth: type: http scheme: bearer bearerFormat: API Key description: >- Gateway auth: send `Authorization: Bearer `. For multi-user server-side integrations, you can also send `X-On-Behalf-Of: `. ````