auto_routing cuando quieras que el gateway elija entre variantes cuantizadas, MoE y densas según la complejidad de la solicitud.
Cuando las variantes hermanas aún no están registradas, usa auto_routing_debug para verificar la decisión de enrutamiento en sí.
La metadata de la respuesta incluirá:
routed_modelauto_routing_debug
auto_routing_debug es una cadena JSON compacta con el modelo solicitado, el nivel seleccionado, el esfuerzo de razonamiento, el puntaje y las razones.
Ejecutar la validación
La verificación en producción del 31 de marzo de 2026 utilizó el endpoint de Responses directamente con un modelo fijo y una bandera de depuración opcional.bash
routed_model aún puede ser igual al modelo solicitado si no existe una familia hermana compatible en producción todavía.
Eso no significa que la heurística haya fallado.
La prueba está en desired_tier, reasoning_effort, score y reasons dentro de auto_routing_debug.
Método de prueba
La verificación en producción utilizó seis solicitudes Responses contrahttps://apigw.mka1.com/api/v1/llm/responses.
Cada solicitud estableció:
model: "meetkai:functionary-pt"auto_routing: trueauto_routing_debug: true
- Prompt corto de transformación en inglés
- Prompt de salida estructurada de longitud media
- Prompt largo de análisis de incidentes
- Prompt forzado de uso de herramienta
- Prompt corto de transformación en portugués
- Prompt largo de análisis de incidentes en portugués
- Estado HTTP
metadata.routed_modelmetadata.auto_routing_debugparseadoreasoning.effortefectivo
Resultados en producción en vivo
Estos fueron los resultados observados en producción el 31 de marzo de 2026 después del despliegue del PR 321:
Las seis solicitudes devolvieron
200 OK.
Las seis respuestas incluyeron auto_routing_debug.
El nivel observado coincidió con el nivel esperado en todos los casos.
Fragmentos de respuesta en crudo
Los siguientes ejemplos están adaptados del registro de producción en vivo.Prompt corto de transformación
Solicitud:Prompt de salida estructurada
Solicitud:Prompt largo de análisis de incidentes
Solicitud:Prompt forzado de uso de herramienta
Solicitud:Prompt de transformación en portugués
Solicitud:Prompt de análisis de incidentes en portugués
Solicitud:Interpretar el resultado
Utiliza esta lista de verificación al validar un despliegue:- Confirma que la respuesta incluya
metadata.auto_routing_debug. - Parsea la cadena JSON e inspecciona
desired_tier. - Verifica que
reasoning_effortcoincida con el nivel de complejidad esperado. - Verifica que las
reasonscoincidan con las características del prompt que pretendías activar. - Si existen variantes hermanas, confirma también que
routed_modelcambie al hermano esperado.
auto_routing_debug, probablemente la imagen de la API desplegada aún no incluye la funcionalidad.
Notas
auto_routing_debugestá destinado a validación y verificaciones de despliegue. Es opcional y no debe habilitarse por defecto para el tráfico de producción normal.auto_routing_debugestá disponible actualmente en la API de Responses.- Las heurísticas para prompts en portugués están incluidas en la lógica de enrutamiento de producción actual, por lo que los prompts cortos de transformación y los prompts complejos de análisis de incidentes pueden validarse tanto en inglés como en portugués.