mk-embeddings-pt, um modelo de embeddings especializado para português brasileiro (pt-BR).
A avaliação utiliza benchmarks MTEB padrão, desenvolvidos por instituições acadêmicas brasileiras, comparando nosso modelo com o baseline multilíngue multilingual-e5-large nas mesmas tarefas e hardware.
O objetivo é demonstrar que o mk-embeddings-pt é genuinamente especializado para pt-BR — não apenas um modelo multilíngue com cobertura incidental de português — e que sua qualidade semântica em português é equivalente ou superior à que embeddings nativos de inglês atingem em inglês.
Resumo dos resultados
O
mk-embeddings-pt pontua +12,7% mais alto em português do que em inglês, confirmando especialização genuína em pt-BR.
O multilingual-e5-large pontua −1,1% em português vs inglês, confirmando viés para o inglês.
Metodologia de benchmark
Todas as avaliações utilizam o MTEB (Massive Text Embedding Benchmark), o padrão para avaliação de modelos de embeddings. Ambos os modelos foram avaliados no mesmo hardware (Apple M-series, backend MPS) com as mesmas configurações de tarefas do MTEB.Benchmarks em português
Benchmarks em inglês (para comparação de especialização)
Resultados dos benchmarks em português
Similaridade textual semântica
Tarefas de STS medem o quão bem os embeddings capturam similaridade semântica entre pares de sentenças. São a medida mais direta de qualidade de embedding para aplicações de busca e RAG.
Nos dois benchmarks nativos de STS em português brasileiro (SICK-BR e Assin2), o
mk-embeddings-pt supera o baseline multilíngue por +4,9 a +14,2 pontos.
O resultado no STSBenchmarkMultilingualSTS favorece o multilingual-e5-large porque este benchmark é uma versão traduzida automaticamente do STS Benchmark em inglês — modelos multilíngues treinados em dados de STS em inglês têm vantagem inerente aqui. Os benchmarks nativos pt-BR (SICK-BR, Assin2) são mais representativos de compreensão semântica real em português.
Classificação de pares e entailment
O
mk-embeddings-pt é substancialmente melhor em reconhecer entailment textual em pt-BR — uma capacidade crítica para sistemas RAG que precisam determinar se um trecho recuperado realmente suporta uma afirmação.
Classificação
O
multilingual-e5-large lidera nas tarefas de classificação do MASSIVE. Essas tarefas testam transferência cross-lingual a partir de dados de treinamento em inglês — uma área onde grandes modelos multilíngues têm vantagem inerente devido à sua distribuição de treinamento. No entanto, acurácia de classificação não é o requisito principal para um modelo de embeddings focado em busca.
Na tarefa específica brasileira (tweets tóxicos), ambos os modelos pontuam de forma semelhante, com leve vantagem para o mk-embeddings-pt.
Análise de especialização linguística
O delta de especialização — a diferença entre o score de STS em português e em inglês de um modelo — é o principal indicador de se um modelo é genuinamente especializado em português ou apenas multilíngue com viés para o inglês.Baselines de STS em inglês
Delta de especialização
O
mk-embeddings-pt sacrifica desempenho em inglês para atingir qualidade superior em português.
Esse é o padrão esperado de um modelo genuinamente especializado — ele performa melhor em seu idioma-alvo e intencionalmente troca desempenho em outros idiomas.
O multilingual-e5-large mostra o padrão oposto: é marginalmente melhor em inglês do que em português, confirmando que é um modelo multilíngue generalista, não um especialista em português.
Paridade entre idiomas
Um requisito fundamental é que a qualidade dos embeddings em pt-BR seja equivalente à que embeddings nativos de inglês atingem em inglês. A média de STS em português para omk-embeddings-pt (0.8088) está a 1 ponto da média de STS em inglês para o multilingual-e5-large (0.8170).
Isso demonstra paridade entre idiomas — usuários brasileiros têm qualidade de embedding equivalente à esperada por usuários de inglês.
Comparação com benchmarks publicados em português
O artigo Serafim (Santos et al., 2024) fornece contexto adicional para desempenho de embeddings em português. Scores publicados em benchmarks sobrepostos:
O
mk-embeddings-pt supera baselines multilíngues e apenas inglês publicados por +11,5 a +23,5 pontos no benchmark nativo brasileiro ASSIN2.
Dados de treinamento
Todos os dados de treinamento e avaliação vêm de benchmarks acadêmicos brasileiros de acesso público.
ASSIN e ASSIN2 são os benchmarks padrão para compreensão semântica em português brasileiro, produzidos pelo Núcleo Interinstitucional de Linguística Computacional (NILC) da Universidade de São Paulo.
Conformidade com IA soberana
O modelo pode ser ainda mais ajustado com dados específicos de domínio (jurídico, governamental, regulatório) sem expor documentos sigilosos a serviços externos.
Recomendações
Para busca e RAG
Use omk-embeddings-pt em todos os pipelines de busca em português. A vantagem de +14,2 pontos no SICK-BR-STS e +6,2 pontos no Assin2RTE se traduzem diretamente em maior relevância de busca e detecção de entailment mais precisa em sistemas RAG.
Para classificação
Para tarefas de classificação de intenção e de cenário, omultilingual-e5-large permanece mais forte devido à sua distribuição de treinamento multilíngue mais ampla. Considere uma abordagem híbrida: mk-embeddings-pt para busca e um classificador separado para categorização.
Para especialização adicional
O modelo pode ser ajustado com dados brasileiros específicos de domínio usando CoSENT loss para otimização de STS ou aprendizado contrastivo para busca. Domínios recomendados para uso governamental: textos jurídicos, documentos regulatórios, fluxos de serviço público.Referências
- Real et al., 2020. “The ASSIN 2 Shared Task: a Portuguese Semantic Similarity Evaluation”
- Santos et al., 2024. “Serafim: Portuguese Sentence Embeddings” (arXiv:2407.19527)
- Enevoldsen et al., 2025. “MMTEB: Massive Multilingual Text Embedding Benchmark” (arXiv:2502.13595)
- Wang et al., 2024. “Multilingual E5 Text Embeddings” (arXiv:2402.05672)
- Souza et al., 2020. “BERTimbau: Pretrained BERT Models for Brazilian Portuguese”
- MTEB Leaderboard — https://huggingface.co/spaces/mteb/leaderboard