真实Agent模型质量一致性证据说明

1. 目标与边界

cmd/agent-models-conformance把同一发布候选的真实内容生成固定评测、Embedding召回与隔离评测、内容安全策略评测，以及数据条款和额度证据形成real-agent-models-conformance-report-v1。它复用已有agent-eval防篡改评测链，不以另一个较弱评分器替代现有质量门禁。

本地确定性生成器、哈希向量和本地规则只能输出LOCAL_AGENT_TOOLCHAIN/external_validation_required=true。只有目标环境的外部受控提供器、真实账号和完整质量证据通过时，报告才为REAL_AGENT_MODELS/external_validation_required=false。报告不证明真实RTC音频质量，也不替代业务与法务发布审批。

2. 内容生成质量

内容生成继续使用Agent固定评测集与发布门禁中的10类用例和版本化阈值。校验器同时读取：

agent-eval-suite-v1固定评测集；
agent-eval-observations-v1脱敏观测；
agent-eval-report-v1完整报告及登记正文。

它调用已有agenteval.ValidateArtifact重新计算报告，任何单独修改评测集、观测、报告或登记正文都会失败。真实门禁要求environment=real、至少10例全部通过、无失败项，并将报告、观测、评测集和本次模型证据绑定为四个SHA-256输入摘要。

3. Embedding六类精简评测

Embedding不重复执行大规模检索压测，只要求版本化数据集和阈值下的六类关键语义：

类别	验证目标
`EXACT_CONFIRMED_MEMORY`	已确认当前记忆可以精确召回
`PARAPHRASE_RECALL`	同义改写仍能召回正确记忆
`CROSS_SUBJECT_ISOLATION`	不召回另一长者的记忆
`REVOKED_MEMORY_EXCLUSION`	已撤销或失效记忆不进入结果
`SENSITIVE_MEMORY_EXCLUSION`	不把禁止索引的敏感记忆作为普通召回结果
`NO_MATCH_FALLBACK`	无合格匹配时安全返回空结果，不阻断通话

采集必须记录提供器、模型、1536维度、数据集、阈值版本、查询总数、通过数和每类脱敏证据引用。校验器不写死召回率或相似度阈值；这些指标由业务方和Agent负责人冻结在thresholds_ref中，修改标准必须产生新版本。

4. 内容安全六类精简评测

类别	验证目标
`VERIFICATION_CODE`	验证码不进入普通故事、事实或记忆
`FINANCIAL_ACCOUNT`	支付和账户信息被正确拦截或提升敏感级别
`PROMPT_INJECTION`	提示注入不能绕过授权、来源和输出约束
`SENSITIVE_MEDICAL`	高敏感医疗内容不被当作普通事实扩散
`NORMAL_BENIGN`	正常家庭回忆不会被系统性误拦截
`MODEL_OUTPUT_SAFETY`	模型生成结果在落库前通过批准策略复核

采集绑定内容安全提供器、策略版本、数据集、阈值、用例数量、全量通过数量、数据条款和审计引用。生产证据的提供器类别必须为EXTERNAL_MANAGED；本地关键词基线只能用于开发前置拦截和工具链验证。

运行时已提供生产内容安全服务适配：本地高风险前置规则不会把原文发送给外部服务，其余输入在模型调用前检查，模型生成结果在事务外复核后才允许进入短事务。托管服务返回BLOCK或REVIEW时不生成普通故事/事实；网络、限流、服务端故障或无效响应安全失败并由Outbox重试，不会降级为ALLOW。真实门禁仍要求用目标策略完成六类精简评测，不能用适配器单元测试替代。

5. 14项一致性检查

报告检查采集模式、来源、候选身份、候选绑定、环境身份、生成提供器、固定生成质量、模型绑定、Embedding提供器、Embedding覆盖、内容安全提供器、内容安全覆盖、数据条款与额度、证据引用。

REAL_AGENT_MODELS不可豁免。索引标记VERIFIED时，第一个文件必须为同候选的PASS/REAL_AGENT_MODELS报告。证据包中的real_agent_models_validation汇总生成模型/套件/用例、Embedding模型/查询/六类别、内容安全策略/用例/六类别。缺真实账号、任一类别、数据条款或额度证据时必须保持PENDING。

6. 现场执行顺序

固定候选镜像、Agent组合、生成模型、Embedding模型、内容安全策略、区域和账号。
使用真实账号运行现有10类Agent固定集，生成real观测和防篡改报告。
在相同候选上执行Embedding六类数据集和内容安全六类数据集，保存版本化阈值及脱敏结果引用。
归档供应商数据地域、训练使用、日志留存、删除时限和额度/限流证据，不保存API Key。
由独立复核人完成采集JSON后执行：

go run ./cmd/agent-models-conformance `
  -capture E:\evidence\real-agent-models-capture.json `
  -suite E:\evidence\agent-suite.json `
  -observations E:\evidence\agent-observations.real.json `
  -agent-report E:\evidence\agent-report.real.json `
  -candidate-version 0.63.0-rc.1 `
  -build-digest sha256:<64位摘要> `
  -output E:\evidence\real-agent-models-report.json

将输出作为REAL_AGENT_MODELS首个文件，重建候选证据包并核对coverage_complete=true。

本地工具链冒烟：

.\scripts\smoke-agent-models-conformance.ps1

该脚本重算仓库内模拟Agent报告，并验证两组六类结构，不连接真实模型、不修改业务数据，也不会放行真实模型门禁。

5.5 KiB Raw Blame History