Embeddings especializados pt-BR

Documentation Index

Fetch the complete documentation index at: https://docs.mka1.com/llms.txt

Use this file to discover all available pages before exploring further.

Este informe presenta evidencia de benchmark para mk-embeddings-pt, un modelo de embeddings especializado en portugués brasileño (pt-BR). La evaluación utiliza benchmarks estándar de MTEB desarrollados por instituciones académicas brasileñas, comparando nuestro modelo con el modelo multilingüe de referencia multilingual-e5-large en tareas y hardware idénticos. El objetivo es demostrar que mk-embeddings-pt está realmente especializado para pt-BR — no es simplemente un modelo multilingüe con cobertura incidental de portugués — y que su calidad semántica en portugués es equivalente o superior a la que logran los embeddings nativos en inglés para ese idioma.

​

Resumen de resultados

mk-embeddings-pt obtiene +12.7% más en portugués que en inglés, confirmando una verdadera especialización en pt-BR. multilingual-e5-large obtiene −1.1% en portugués vs inglés, confirmando su sesgo hacia el inglés.

​

Metodología de benchmark

Todas las evaluaciones utilizan el marco MTEB (Massive Text Embedding Benchmark), el estándar para la evaluación de modelos de embeddings. Ambos modelos fueron evaluados en hardware idéntico (Apple M-series, backend MPS) con las mismas configuraciones de tareas MTEB.

​

Benchmarks en portugués

​

Benchmarks en inglés (para comparación de especialización)

​

Resultados de benchmarks en portugués

​

Similitud semántica de textos

Las tareas STS miden qué tan bien los embeddings capturan la similitud semántica entre pares de frases. Son la medida más directa de la calidad de los embeddings para aplicaciones de recuperación y RAG. En los dos benchmarks nativos de portugués brasileño (SICK-BR y Assin2), mk-embeddings-pt supera al modelo multilingüe de referencia por +4.9 a +14.2 puntos. El resultado en STSBenchmarkMultilingualSTS favorece a multilingual-e5-large porque este benchmark es una versión traducida automáticamente del STS Benchmark en inglés — los modelos multilingües entrenados en datos STS en inglés tienen una ventaja inherente aquí. Los benchmarks nativos pt-BR (SICK-BR, Assin2) son más representativos de la comprensión semántica real en portugués.

​

Clasificación de pares y entailment

mk-embeddings-pt es sustancialmente mejor en el reconocimiento de entailment textual en pt-BR — una capacidad crítica para sistemas RAG que necesitan determinar si un pasaje recuperado realmente respalda una afirmación.

​

Clasificación

multilingual-e5-large lidera en las tareas de clasificación MASSIVE. Estas tareas evalúan la transferencia cross-lingual desde datos de entrenamiento en inglés — un área donde los grandes modelos multilingües tienen una ventaja inherente debido a su distribución de entrenamiento. Sin embargo, la precisión en clasificación no es el requisito principal para un modelo de embeddings enfocado en recuperación. En la tarea específica para Brasil (tuits tóxicos), ambos modelos obtienen puntajes similares, con mk-embeddings-pt ligeramente por delante.

​

Análisis de especialización lingüística

El delta de especialización — la diferencia entre el puntaje STS en portugués y el puntaje STS en inglés de un modelo — es el indicador clave de si un modelo está realmente especializado en portugués o simplemente es multilingüe con sesgo hacia el inglés.

​

Referencias STS en inglés

​

Delta de especialización

mk-embeddings-pt sacrifica rendimiento en inglés para lograr una calidad superior en portugués. Esta es la señal esperada de un modelo realmente especializado — rinde mejor en su idioma objetivo y, de forma intencionada, intercambia rendimiento en otros idiomas. multilingual-e5-large muestra el patrón opuesto: es ligeramente mejor en inglés que en portugués, confirmando que es un modelo multilingüe generalista, no un especialista en portugués.

​

Paridad entre idiomas

Un requisito clave es que la calidad de los embeddings en pt-BR debe ser equivalente a la que logran los embeddings nativos en inglés para ese idioma. El promedio STS en portugués para mk-embeddings-pt (0.8088) está a 1 punto del promedio STS en inglés para multilingual-e5-large (0.8170). Esto demuestra paridad entre idiomas — los usuarios de portugués brasileño obtienen calidad de embeddings equivalente a la que esperan los usuarios de inglés.

​

Comparación con benchmarks publicados en portugués

El artículo de Serafim (Santos et al., 2024) aporta contexto adicional sobre el rendimiento de embeddings en portugués. Puntajes publicados en benchmarks coincidentes: mk-embeddings-pt supera a los modelos multilingües y solo inglés publicados por +11.5 a +23.5 puntos en el benchmark nativo de portugués brasileño ASSIN2.

​

Datos de entrenamiento

Todos los datos de entrenamiento y evaluación provienen de benchmarks académicos brasileños de acceso público. ASSIN y ASSIN2 son los benchmarks estándar para la comprensión semántica en portugués brasileño, producidos por el Centro Interinstitucional de Lingüística Computacional (NILC) de la Universidad de São Paulo.

​

Cumplimiento de IA soberana

El modelo puede ser ajustado adicionalmente con datos específicos de dominio (legal, gobierno, regulatorio) sin exponer documentos clasificados a servicios externos.

​

Recomendaciones

​

Para recuperación y RAG

Utilice mk-embeddings-pt para todos los pipelines de recuperación en portugués. La ventaja de +14.2 puntos en SICK-BR-STS y +6.2 puntos en Assin2RTE se traducen directamente en mayor relevancia de recuperación y detección de entailment más precisa en sistemas RAG.

​

Para clasificación

Para tareas de clasificación de intención y de escenario, multilingual-e5-large sigue siendo más fuerte debido a su mayor distribución de entrenamiento multilingüe. Considere un enfoque híbrido: mk-embeddings-pt para recuperación y un clasificador separado para categorización.

​

Para especialización adicional

El modelo puede ser ajustado con datos específicos de portugués brasileño utilizando pérdida CoSENT para optimización STS o aprendizaje contrastivo para recuperación. Dominios recomendados para despliegue gubernamental: textos legales, documentos regulatorios, flujos de trabajo de servicios públicos.

​

Referencias

1. Real et al., 2020. “The ASSIN 2 Shared Task: a Portuguese Semantic Similarity Evaluation”
2. Santos et al., 2024. “Serafim: Portuguese Sentence Embeddings” (arXiv:2407.19527)
3. Enevoldsen et al., 2025. “MMTEB: Massive Multilingual Text Embedding Benchmark” (arXiv:2502.13595)
4. Wang et al., 2024. “Multilingual E5 Text Embeddings” (arXiv:2402.05672)
5. Souza et al., 2020. “BERTimbau: Pretrained BERT Models for Brazilian Portuguese”
6. MTEB Leaderboard — https://huggingface.co/spaces/mteb/leaderboard