Avaliar localização regional e tratamento de ambiguidades

Este guia mostra como avaliar dois comportamentos do modelo de uma forma reproduzível e fácil de adaptar:

inferir o contexto de localidade apenas a partir do prompt do usuário
pedir esclarecimento quando o prompt do usuário é ambíguo

O exemplo prático deste documento usa o português brasileiro (pt-BR). O mesmo método pode ser reutilizado para outras localidades alterando o conjunto de prompts e os sinais de pontuação. Execute cada caso como uma nova solicitação de turno único. Não pré-carregue exemplos que ensinem ao modelo o comportamento exato que você pretende pontuar.

Princípios de avaliação

Use a mesma configuração para ambas as avaliações:

Mantenha a solicitação neutra.
Não instrua explicitamente o modelo a se localizar para uma região.
Não instrua explicitamente o modelo a pedir esclarecimento.
Registre o prompt exato e a resposta bruta exata de cada caso.
Pontue a saída em relação a sinais comportamentais visíveis, e não à intenção oculta.

Para a avaliação de localidade, a pergunta é: o modelo consegue inferir convenções locais apenas a partir da entrada do usuário? Para a avaliação de ambiguidade, a pergunta é: o modelo consegue reconhecer o contexto ausente apenas a partir da entrada do usuário?

Estrutura mínima

Use o SDK MKA1 e mantenha a estrutura da solicitação simples:

MKA1 SDK

import { SDK } from '@meetkai/mka1';
import type { ResponseObject } from '@meetkai/mka1/models/components';

const mka1 = new SDK({
  bearerAuth: `Bearer ${process.env.MKA1_API_KEY}`,
});

async function runCase(testCase: {
  id: string;
  capability: 'locale-context' | 'ambiguity';
  type: string;
  prompt: string;
}) {
  const response = await mka1.llm.responses.create({
    xOnBehalfOf: '<end-user-id>', // optional — attribute the request to one of your end users
    responsesCreateRequest: {
      model: 'meetkai:functionary-pt',
      input: testCase.prompt,
      stream: false,
      metadata: {
        capability: testCase.capability,
        eval_case: testCase.id,
        eval_type: testCase.type,
      },
    },
  }) as ResponseObject;

  return {
    ...testCase,
    outputText: response.outputText,
  };
}

Avaliar a inferência de contexto de localidade

Objetivo

Comprove que o modelo consegue inferir convenções regionais apenas a partir do prompt do usuário e aplicá-las naturalmente quando o tema exigir. No exemplo pt-BR, os sinais mais visíveis são:

R$ e a formatação brasileira de valores monetários
dd/mm/yyyy quando o modelo transforma uma data em formato numérico
unidades métricas como km, °C e m
tratamento correto de expressões idiomáticas locais e regionais
contexto social local, como CPF, RG e comprovante de residência

Etapa 1: escolha sinais de localidade observáveis

Escolha sinais que sejam fáceis para um revisor identificar diretamente na saída.

Tipo de sinal	Evidência genérica	Exemplo do Brasil `pt-BR`
moeda	símbolo da moeda local e estilo numérico	`R$ 700,00`
data	formato local de data curta	`05/04/2026`
unidades	convenções locais de medição	`431 km`, `30°C`, `1,73 metro`
expressões idiomáticas	significado e uso local corretos	`dar um jeitinho`, `pagar mico`, `ficar de boa`
normas sociais	documentos, instituições e expectativas locais	`CPF`, `RG`, documentos bancários
contexto regional	referências a comida, geografia ou cultura local	Nordeste brasileiro, São Paulo, Manaus

Etapa 2: execute um conjunto de prompts focado

Os prompts pt-BR a seguir são baseados em exemplos reais de execuções de avaliação anteriores. Eles funcionam bem porque expõem sinais locais visíveis sem pedir explicitamente que o modelo se localize.

MKA1 SDK

const localeCases: Parameters<typeof runCase>[0][] = [
  {
    id: 'locale-currency-lunch',
    capability: 'locale-context',
    type: 'currency',
    prompt: 'Quanto custa em média um almoço em um restaurante popular em São Paulo?',
  },
  {
    id: 'locale-metric-distance',
    capability: 'locale-context',
    type: 'metric_units',
    prompt: 'Qual a distância entre São Paulo e Rio de Janeiro?',
  },
  {
    id: 'locale-metric-temperature',
    capability: 'locale-context',
    type: 'metric_units',
    prompt: 'Qual a temperatura média em Manaus durante o verão?',
  },
  {
    id: 'locale-social-banking',
    capability: 'locale-context',
    type: 'social_norms',
    prompt: 'Preciso abrir uma conta bancária. Quais documentos são necessários?',
  },
  {
    id: 'locale-idiom-jeitinho',
    capability: 'locale-context',
    type: 'idioms',
    prompt: 'O que significa a expressão "dar um jeitinho"?',
  },
  {
    id: 'locale-idiom-ficar-de-boa',
    capability: 'locale-context',
    type: 'idioms',
    prompt: 'Me explique o que quer dizer "ficar de boa".',
  },
  {
    id: 'locale-idiom-pagar-mico',
    capability: 'locale-context',
    type: 'idioms',
    prompt: 'Use a expressão "pagar mico" em uma frase de exemplo.',
  },
  {
    id: 'locale-regional-food',
    capability: 'locale-context',
    type: 'regionalism',
    prompt: 'Quais são as comidas típicas do Nordeste brasileiro?',
  },
  {
    id: 'locale-date-short',
    capability: 'locale-context',
    type: 'date',
    prompt: 'Minha consulta ficou para cinco de abril de 2026 às duas e meia da tarde. Pode resumir isso em uma linha?',
  },
];

for (const testCase of localeCases) {
  const result = await runCase(testCase);
  console.log(JSON.stringify(result));
}

Se você incluir prompts sensíveis ao tempo, como o preço atual do combustível ou o salário mínimo atual, registre a data do teste e pontue a atualidade factual separadamente do comportamento de localidade.

Etapa 3: pontue cada resposta

Pontue cada caso como pass, partial ou fail.

Tipo	Aprovado	Parcial	Reprovado
moeda	Usa naturalmente o símbolo e a formatação corretos da moeda local	A moeda local está presente, mas a formatação é inconsistente	Usa a moeda errada ou a formatação de localidade errada
data	Usa o formato local correto de data curta ou um equivalente claramente local	A data é compreensível, mas não mostra claramente o formato local	Usa um formato de localidade conflitante
unidades métricas	Usa naturalmente as unidades locais esperadas	Resposta correta, mas o estilo da unidade é vago	Usa unidades regionais erradas
expressões idiomáticas	Explica a expressão com o significado e tom locais corretos	Aproximadamente correto, mas culturalmente superficial	Interpreta mal ou simplifica a expressão
normas sociais	Usa instituições, documentos ou normas locais quando relevante	Em geral está correto, mas deixa de incluir os marcadores locais mais fortes	Fornece orientação genérica sem embasamento local
contexto regional	Fundamenta a resposta naturalmente na região local	Correto, mas genérico	Não reconhece ou questiona desnecessariamente o contexto regional

Etapa 4: monte as evidências

Seu pacote de evidências deve mostrar saídas brutas que tornem visível a inferência de localidade. No exemplo do Brasil pt-BR, uma tabela compacta de evidências pode ser assim:

Caso	Prompt	O que a resposta comprova
`locale-currency-lunch`	`Quanto custa em média um almoço em um restaurante popular em São Paulo?`	O modelo inferiu o Brasil e respondeu em `R$` sem receber instruções para usar a moeda brasileira
`locale-date-short`	`Minha consulta ficou para cinco de abril de 2026 às duas e meia da tarde. Pode resumir isso em uma linha?`	O modelo converteu a data para um formato brasileiro sem instruções explícitas de formatação
`locale-metric-distance`	`Qual a distância entre São Paulo e Rio de Janeiro?`	O modelo usou `km` em vez de milhas
`locale-idiom-jeitinho`	`O que significa a expressão "dar um jeitinho"?`	O modelo interpretou uma expressão idiomática brasileira com a nuance cultural correta
`locale-social-banking`	`Preciso abrir uma conta bancária. Quais documentos são necessários?`	O modelo apresentou documentos bancários brasileiros como `CPF`, `RG` e `comprovante de residência`

Uma condição prática de aprovação é:

pelo menos um exemplo forte aprovado para moeda, data, unidades, expressões idiomáticas e contexto social
nenhum prompt contém orientação explícita de localização
as saídas brutas mostram visivelmente as convenções locais

Avaliar o tratamento de ambiguidades

Objetivo

Comprove que o modelo reconhece a ambiguidade no prompt do usuário e faz uma pergunta de acompanhamento direcionada em vez de adivinhar. A avaliação deve medir ambos os lados do comportamento:

se o modelo pede esclarecimento quando o prompt é genuinamente ambíguo
se o modelo responde diretamente quando o prompt já está claro

Etapa 1: crie prompts ambíguos e controles claros

Os prompts a seguir são baseados em exemplos reais de execuções de avaliação anteriores.

MKA1 SDK

const ambiguityCases: Parameters<typeof runCase>[0][] = [
  {
    id: 'ambiguity-lexical-banco',
    capability: 'ambiguity',
    type: 'ambiguous',
    prompt: 'Preciso de um banco.',
  },
  {
    id: 'ambiguity-lexical-pena',
    capability: 'ambiguity',
    type: 'ambiguous',
    prompt: 'Quero saber mais sobre pena.',
  },
  {
    id: 'ambiguity-underspecified-price',
    capability: 'ambiguity',
    type: 'ambiguous',
    prompt: 'Quanto custa?',
  },
  {
    id: 'ambiguity-underspecified-reservation',
    capability: 'ambiguity',
    type: 'ambiguous',
    prompt: 'Me ajuda a reservar para sexta.',
  },
  {
    id: 'ambiguity-underspecified-conversion',
    capability: 'ambiguity',
    type: 'ambiguous',
    prompt: 'Converte pra mim.',
  },
  {
    id: 'ambiguity-referential-better',
    capability: 'ambiguity',
    type: 'ambiguous',
    prompt: 'Ele é melhor que o outro, né?',
  },
  {
    id: 'ambiguity-referential-trocar',
    capability: 'ambiguity',
    type: 'ambiguous',
    prompt: 'Pode trocar isso?',
  },
  {
    id: 'ambiguity-referential-arquivo',
    capability: 'ambiguity',
    type: 'ambiguous',
    prompt: 'Manda aquele arquivo pra mim.',
  },
  {
    id: 'ambiguity-task-report',
    capability: 'ambiguity',
    type: 'ambiguous',
    prompt: 'Faz um relatório.',
  },
  {
    id: 'ambiguity-task-problem',
    capability: 'ambiguity',
    type: 'ambiguous',
    prompt: 'Preciso que você resolva o problema.',
  },
  {
    id: 'ambiguity-task-update',
    capability: 'ambiguity',
    type: 'ambiguous',
    prompt: 'Atualiza os dados.',
  },
  {
    id: 'ambiguity-clear-capital',
    capability: 'ambiguity',
    type: 'clear',
    prompt: 'Qual a capital do Brasil?',
  },
  {
    id: 'ambiguity-clear-inflation',
    capability: 'ambiguity',
    type: 'clear',
    prompt: 'Me explique o que é inflação.',
  },
  {
    id: 'ambiguity-clear-states',
    capability: 'ambiguity',
    type: 'clear',
    prompt: 'Quantos estados tem o Brasil?',
  },
  {
    id: 'ambiguity-clear-brigadeiro',
    capability: 'ambiguity',
    type: 'clear',
    prompt: 'Me dê uma receita de brigadeiro.',
  },
];

for (const testCase of ambiguityCases) {
  const result = await runCase(testCase);
  console.log(JSON.stringify(result));
}

Etapa 2: pontue as respostas

Tipo de prompt	Aprovado	Parcial	Reprovado
ambíguo	Faz uma pergunta de esclarecimento curta e direcionada antes de responder	Lista possíveis significados, mas o esclarecimento é amplo ou longo demais	Adivinha, inventa detalhes ausentes ou recusa antes de esclarecer
claro	Responde diretamente	Responde, mas adiciona ressalvas desnecessárias	Pede esclarecimento mesmo que a solicitação esteja clara

Exemplos de comportamento de esclarecimento aprovado:

Preciso de um banco. -> Você quer dizer banco financeiro ou banco para sentar?
Faz um relatório. -> Sobre qual tema, para qual público e para qual período?
Manda aquele arquivo pra mim. -> Qual arquivo você quer dizer?

Exemplos de padrões de falha em execuções anteriores:

Me fala sobre manga. adivinhou o significado de quadrinho japonês em vez de perguntar qual significado o usuário queria.
Quero saber mais sobre pena. respondeu sobre vários significados em vez de fazer uma pergunta de esclarecimento.
Faz um relatório. inventou um relatório de vendas em vez de resolver a ausência de tema e público.
Atualiza os dados. forneceu instruções genéricas de atualização em vez de perguntar quais dados deveriam ser atualizados.
Manda aquele arquivo pra mim. passou diretamente para uma limitação de entrega antes de esclarecer a qual arquivo o usuário se referia.

Esses exemplos são evidências negativas úteis. Eles mostram como é adivinhar, o que torna os casos aprovados mais fáceis de defender.

Etapa 3: calcule as métricas

Informe pelo menos estas três métricas:

Métrica	Fórmula
taxa de esclarecimento	`ambiguous cases scored pass / total ambiguous cases`
taxa de suposições erradas	`ambiguous cases scored fail because the model guessed / total ambiguous cases`
taxa de falso esclarecimento	`clear cases that asked for clarification / total clear cases`

Uma meta prática é:

alta taxa de esclarecimento em prompts ambíguos
baixa taxa de suposições erradas em prompts ambíguos
baixa taxa de falsos esclarecimentos em prompts claros

Etapa 4: monte as evidências

Use uma tabela compacta de evidências que mostre tanto o comportamento de esclarecimento quanto o de não esclarecimento:

Caso	Prompt	O que a resposta comprova
`ambiguity-lexical-banco`	`Preciso de um banco.`	O modelo identificou ambiguidade lexical e perguntou qual significado o usuário pretendia
`ambiguity-underspecified-reservation`	`Me ajuda a reservar para sexta.`	O modelo pediu os detalhes ausentes da reserva em vez de adivinhar
`ambiguity-referential-arquivo`	`Manda aquele arquivo pra mim.`	O modelo resolveu a referência antes de discutir a ação
`ambiguity-task-report`	`Faz um relatório.`	O modelo pediu tema, público e período antes de redigir
`ambiguity-clear-capital`	`Qual a capital do Brasil?`	O modelo respondeu diretamente e não pediu esclarecimentos excessivos

Adaptar este guia para outra localidade

Para reutilizar este método em outra região, mantenha a mesma estrutura de avaliação e altere apenas as entradas específicas da localidade:

altere o conjunto de prompts
altere as convenções locais que você espera ver
altere as expressões idiomáticas, instituições e referências específicas da região na rubrica

Por exemplo, as evidências de localidade podem mudar de:

R$, dd/mm/yyyy, km, CPF

para as de outra localidade:

símbolo monetário e estilo de números
formato de data curta
convenções de medição
instituições, documentos e expressões idiomáticas locais

A avaliação de ambiguidade normalmente muda menos. A maioria das famílias de prompts permanece útil entre localidades:

ambiguidade lexical
solicitações subespecificadas
ambiguidade referencial
ambiguidade de tarefa
prompts de controle claros

Pacote final de evidências

Para qualquer uma das avaliações, inclua:

a lista exata de prompts
a resposta bruta de cada caso
a rubrica de pontuação
a pontuação por caso
as métricas agregadas
uma breve observação confirmando que o teste usou solicitações novas de turno único sem orientação por prompt

Resumo

Este guia foi elaborado para ser genérico e reproduzível. Ele avalia se um modelo consegue inferir o contexto local por conta própria e se consegue pedir esclarecimento por conta própria. O exemplo prático usa o português brasileiro. Isso torna as evidências concretas, mas a estrutura pode ser reutilizada para outras localidades substituindo-se por um conjunto diferente de sinais e prompts locais.

Primeiros passos

Respostas

Recursos

Computação

CLI

Receitas

Benchmarks

Infraestrutura

Avaliar localização regional e tratamento de ambiguidades

Princípios de avaliação

Estrutura mínima

Avaliar a inferência de contexto de localidade

Objetivo

Etapa 1: escolha sinais de localidade observáveis

Etapa 2: execute um conjunto de prompts focado

Etapa 3: pontue cada resposta

Etapa 4: monte as evidências

Avaliar o tratamento de ambiguidades

Objetivo

Etapa 1: crie prompts ambíguos e controles claros

Etapa 2: pontue as respostas

Etapa 3: calcule as métricas

Etapa 4: monte as evidências

Adaptar este guia para outra localidade

Pacote final de evidências

Resumo

​Princípios de avaliação

​Estrutura mínima

​Avaliar a inferência de contexto de localidade

​Objetivo

​Etapa 1: escolha sinais de localidade observáveis

​Etapa 2: execute um conjunto de prompts focado

​Etapa 3: pontue cada resposta

​Etapa 4: monte as evidências

​Avaliar o tratamento de ambiguidades

​Objetivo

​Etapa 1: crie prompts ambíguos e controles claros

​Etapa 2: pontue as respostas

​Etapa 3: calcule as métricas

​Etapa 4: monte as evidências

​Adaptar este guia para outra localidade

​Pacote final de evidências

​Resumo

Princípios de avaliação

Estrutura mínima

Avaliar a inferência de contexto de localidade

Objetivo

Etapa 1: escolha sinais de localidade observáveis

Etapa 2: execute um conjunto de prompts focado

Etapa 3: pontue cada resposta

Etapa 4: monte as evidências

Avaliar o tratamento de ambiguidades

Objetivo

Etapa 1: crie prompts ambíguos e controles claros

Etapa 2: pontue as respostas

Etapa 3: calcule as métricas

Etapa 4: monte as evidências

Adaptar este guia para outra localidade

Pacote final de evidências

Resumo