如何评测一个文化知识 Agent？
文化知识 Agent 应有固定评测集与基线，按任务完成率、应引用回答的有效引用率、事实准确度、人工接管率、复用率与安全越权等指标持续评估。ShenaAI 要求每个 Agent 上架前绑定评测集与引用策略，高风险场景保留人工复核。
常用评测指标
- 任务完成率（按任务评测集）
- 应引用回答的有效引用率（目标 ≥90%）
- 事实准确度、错误事实率
- 人工接管率（高风险场景保留人工）
- D7/D30 复用率、严重越权/泄密（须为 0）
相关
Agent 上架闸门 · 控制幻觉与引用 · 公开 Agent 目录