83 lines
5.5 KiB
Markdown
83 lines
5.5 KiB
Markdown
# 真实Agent模型质量一致性证据说明
|
|
|
|
## 1. 目标与边界
|
|
|
|
`cmd/agent-models-conformance`把同一发布候选的真实内容生成固定评测、Embedding召回与隔离评测、内容安全策略评测，以及数据条款和额度证据形成`real-agent-models-conformance-report-v1`。它复用已有`agent-eval`防篡改评测链，不以另一个较弱评分器替代现有质量门禁。
|
|
|
|
本地确定性生成器、哈希向量和本地规则只能输出`LOCAL_AGENT_TOOLCHAIN/external_validation_required=true`。只有目标环境的外部受控提供器、真实账号和完整质量证据通过时，报告才为`REAL_AGENT_MODELS/external_validation_required=false`。报告不证明真实RTC音频质量，也不替代业务与法务发布审批。
|
|
|
|
## 2. 内容生成质量
|
|
|
|
内容生成继续使用[Agent固定评测集与发布门禁](agent-evaluation.md)中的10类用例和版本化阈值。校验器同时读取：
|
|
|
|
- `agent-eval-suite-v1`固定评测集；
|
|
- `agent-eval-observations-v1`脱敏观测；
|
|
- `agent-eval-report-v1`完整报告及登记正文。
|
|
|
|
它调用已有`agenteval.ValidateArtifact`重新计算报告，任何单独修改评测集、观测、报告或登记正文都会失败。真实门禁要求`environment=real`、至少10例全部通过、无失败项，并将报告、观测、评测集和本次模型证据绑定为四个SHA-256输入摘要。
|
|
|
|
## 3. Embedding六类精简评测
|
|
|
|
Embedding不重复执行大规模检索压测，只要求版本化数据集和阈值下的六类关键语义：
|
|
|
|
| 类别 | 验证目标 |
|
|
|---|---|
|
|
| `EXACT_CONFIRMED_MEMORY` | 已确认当前记忆可以精确召回 |
|
|
| `PARAPHRASE_RECALL` | 同义改写仍能召回正确记忆 |
|
|
| `CROSS_SUBJECT_ISOLATION` | 不召回另一长者的记忆 |
|
|
| `REVOKED_MEMORY_EXCLUSION` | 已撤销或失效记忆不进入结果 |
|
|
| `SENSITIVE_MEMORY_EXCLUSION` | 不把禁止索引的敏感记忆作为普通召回结果 |
|
|
| `NO_MATCH_FALLBACK` | 无合格匹配时安全返回空结果，不阻断通话 |
|
|
|
|
采集必须记录提供器、模型、1536维度、数据集、阈值版本、查询总数、通过数和每类脱敏证据引用。校验器不写死召回率或相似度阈值；这些指标由业务方和Agent负责人冻结在`thresholds_ref`中，修改标准必须产生新版本。
|
|
|
|
## 4. 内容安全六类精简评测
|
|
|
|
| 类别 | 验证目标 |
|
|
|---|---|
|
|
| `VERIFICATION_CODE` | 验证码不进入普通故事、事实或记忆 |
|
|
| `FINANCIAL_ACCOUNT` | 支付和账户信息被正确拦截或提升敏感级别 |
|
|
| `PROMPT_INJECTION` | 提示注入不能绕过授权、来源和输出约束 |
|
|
| `SENSITIVE_MEDICAL` | 高敏感医疗内容不被当作普通事实扩散 |
|
|
| `NORMAL_BENIGN` | 正常家庭回忆不会被系统性误拦截 |
|
|
| `MODEL_OUTPUT_SAFETY` | 模型生成结果在落库前通过批准策略复核 |
|
|
|
|
采集绑定内容安全提供器、策略版本、数据集、阈值、用例数量、全量通过数量、数据条款和审计引用。生产证据的提供器类别必须为`EXTERNAL_MANAGED`；本地关键词基线只能用于开发前置拦截和工具链验证。
|
|
|
|
运行时已提供[生产内容安全服务适配](content-safety-provider.md)：本地高风险前置规则不会把原文发送给外部服务，其余输入在模型调用前检查，模型生成结果在事务外复核后才允许进入短事务。托管服务返回`BLOCK`或`REVIEW`时不生成普通故事/事实；网络、限流、服务端故障或无效响应安全失败并由Outbox重试，不会降级为`ALLOW`。真实门禁仍要求用目标策略完成六类精简评测，不能用适配器单元测试替代。
|
|
|
|
## 5. 14项一致性检查
|
|
|
|
报告检查采集模式、来源、候选身份、候选绑定、环境身份、生成提供器、固定生成质量、模型绑定、Embedding提供器、Embedding覆盖、内容安全提供器、内容安全覆盖、数据条款与额度、证据引用。
|
|
|
|
`REAL_AGENT_MODELS`不可豁免。索引标记`VERIFIED`时，第一个文件必须为同候选的`PASS/REAL_AGENT_MODELS`报告。证据包中的`real_agent_models_validation`汇总生成模型/套件/用例、Embedding模型/查询/六类别、内容安全策略/用例/六类别。缺真实账号、任一类别、数据条款或额度证据时必须保持`PENDING`。
|
|
|
|
## 6. 现场执行顺序
|
|
|
|
1. 固定候选镜像、Agent组合、生成模型、Embedding模型、内容安全策略、区域和账号。
|
|
2. 使用真实账号运行现有10类Agent固定集，生成`real`观测和防篡改报告。
|
|
3. 在相同候选上执行Embedding六类数据集和内容安全六类数据集，保存版本化阈值及脱敏结果引用。
|
|
4. 归档供应商数据地域、训练使用、日志留存、删除时限和额度/限流证据，不保存API Key。
|
|
5. 由独立复核人完成采集JSON后执行：
|
|
|
|
```powershell
|
|
go run ./cmd/agent-models-conformance `
|
|
-capture E:\evidence\real-agent-models-capture.json `
|
|
-suite E:\evidence\agent-suite.json `
|
|
-observations E:\evidence\agent-observations.real.json `
|
|
-agent-report E:\evidence\agent-report.real.json `
|
|
-candidate-version 0.63.0-rc.1 `
|
|
-build-digest sha256:<64位摘要> `
|
|
-output E:\evidence\real-agent-models-report.json
|
|
```
|
|
|
|
6. 将输出作为`REAL_AGENT_MODELS`首个文件，重建候选证据包并核对`coverage_complete=true`。
|
|
|
|
本地工具链冒烟：
|
|
|
|
```powershell
|
|
.\scripts\smoke-agent-models-conformance.ps1
|
|
```
|
|
|
|
该脚本重算仓库内模拟Agent报告，并验证两组六类结构，不连接真实模型、不修改业务数据，也不会放行真实模型门禁。
|