O que está disponível hoje
A borda da API e a pilha de observabilidade em produção expõem os seguintes elementos:- Respostas ao vivo incluem
X-Request-ID. - A configuração ativa do Kong usa o plugin
correlation-idcomheader_name: X-Request-ID,echo_downstream: trueegenerator: uuid#counter. - Logs ao vivo do SigNoz incluem
userId,externalUserIdeuserContext. - Os ativos existentes no SigNoz incluem os dashboards
MKLLM Gateway,Guardrail DashboardeSandbox Commands, além das log viewsSandbox Commands 24h,Sandbox Command Errors 24heMKLLM Errors.
GET /api/v1/llm/responsesretornouX-Request-ID: 0736e48b-3d39-48d8-806c-952c907*****#12GET /api/v1/agentsretornouX-Request-ID: 0736e48b-3d39-48d8-806c-952c90*****#13- Agregações de 24 horas no SigNoz mostraram valores de
externalUserIdcomodocs-pt-br-usercom14eventos edocs-test-usercom7eventos - Agregações de 24 horas no SigNoz mostraram valores de
userIdcomodRdj8VeoyuE7P9txS7ZVQ8ixI2*****com63eventos euy95pqlp4ABgWCn5oLikRGV1TT*****com23eventos
Envie um ID estável de end user em toda requisição delegada
Para integrações server-side com múltiplos usuários, envieAuthorization e X-On-Behalf-Of.
É isso que vincula uso, recursos e logs ao end user correto.
X-Request-ID junto com o log da sua aplicação.
Isso lhe dá uma chave de junção estável entre a borda da API e a observabilidade downstream.
Consulte relatórios de uso por usuário
Os endpoints públicos de uso aceitam filtrosuser_ids e dimensões group_by.
Use-os para relatórios em nível de conta e depois use os logs do SigNoz para investigar um end user ou uma requisição específica.
userIds para os IDs de end user que você envia em X-On-Behalf-Of.
Por exemplo, a especificação ao vivo hoje expõe endpoints de uso para responses, conversations, completions, embeddings, extract, classify e vector stores.
Registre ações com um vocabulário fixo de auditoria
A detecção de uso indevido por usuário e por unidade depende de seus serviços emitirem eventos de ação consistentes. O contrato compartilhado de auditoria eminfra-resources define os campos obrigatórios:
request_idactor_idunit_idroute_nameactionresource_typeresource_idoutcomepolicy_action
Detecte ações indevidas
Agrupe seus logs e dashboards poractor_id, unit_id, action, outcome e policy_action.
Isso permite responder a duas perguntas diferentes:
- Qual end user ou unidade gerou a atividade?
- Quais ações foram negadas, limitadas ou bloqueadas por policy?
outcome:
successdeniedthrottledvalidation_errorpolicy_violation
policy_action são:
warnblockescalate
mkllm-gateway:
- message:
Limiting parallel tool calls to respect max_tool_calls requestedToolCalls: 2allowedToolCalls: 1maxToolCalls: 5responseId: resp_bcc0e8bba9524e8d9c14289c0c6*****
Fluxo prático de investigação
Quando você investigar uma requisição questionável, use esta ordem:- Comece pelo relatório de uso em nível de conta nos endpoints de uso da Referência da API.
- Afunile até o end user usando
X-On-Behalf-OfeexternalUserId. - Use
X-Request-IDpara correlacionar a requisição exata na borda. - Inspecione os logs do SigNoz para
userId,externalUserId,userContext,route_name,actioneoutcome. - Verifique os dashboards
MKLLM Gateway,Guardrail DashboardeSandbox Commandspara ver a atividade de policy ou de ferramentas ao redor do evento.