如何设计评价Agent系统好坏的指标体系？

一、整体分层框架

二、第一大类：业务价值指标（核心顶层指标，业务最关心）

1. 问题解决类指标（问答 / 知识库 Agent）

1. 问题一次性解决率 用户提问后 Agent 首次回复即可完整解答，无需追问、转人工、补充信息的占比。
2. 人工转接率 Agent 无法处理、用户主动转人工客服 / 运维人员的对话占比；越低越好。
3. 用户放弃率 对话中途退出、未得到有效答案直接离开会话的比例。
4. 问题闭环时长 从提问到用户确认问题解决的平均耗时。
5. 业务达成率（工具型 Agent） 目标任务完整执行成功比例，如订单修改、数据查询、工单创建、文件生成成功次数 / 总请求。

2. 用户满意类指标

1. 用户满意度 CSAT 对话结束打分（1–5 分）平均分、好评率（4/5 分占比）。
2. 净推荐值 NPS 用户是否愿意推荐该 Agent 给同事 / 同行。
3. 负反馈率 用户标记回答错误、答非所问、答不全、重复提问的对话占比。

3. 成本收益指标

1. 人工替代率 Agent 承接对话量 / 全量咨询总量，越高越节约人力成本。
2. 单次对话算力成本 平均每轮调用 LLM、向量检索、工具接口消耗成本。
3. 知识库维护成本 新增文档、修正错误知识、更新术语的周均工时。

三、第二大类：能力质量指标（模型 & 逻辑核心指标，可自动化评测）

（一）回答准确性（知识库 RAG Agent 重点）

1. 事实准确率 输出内容与知识库原文事实一致，无编造、无错误数据、无过期规则。 自动化评测：LLM 判别回答与参考文档是否冲突；人工抽检错误样本。
2. 信息完备率 是否覆盖用户问题全部诉求，无关键信息缺失。
3. 幻觉率（核心负面指标） Agent 编造知识库不存在的规则、数字、流程、结论的对话占比；分为轻度幻觉（无关补充）、重度幻觉（错误引导）。
4. 引用准确率 输出引用的文档段落、来源编号是否真实对应原文，无虚假引用。

（二）检索召回匹配质量（适配你前面中英文知识库场景）

1. 召回准确率 Precision 召回的文档片段中真正相关的比例。
2. 召回覆盖率 Recall 用户问题所需的全部关键知识点是否被召回。
3. 跨语言匹配成功率 英文提问检索中文知识库时，正确召回对应中文文档的占比；专门适配中英混合场景。
4. Chunk 分段匹配精度 是否精准命中文档局部段落，而非通篇无关内容。

（三）逻辑与推理能力（复杂任务 Agent）

1. 步骤完整性 多步骤任务是否完整走完全部流程，无跳过关键环节。
2. 逻辑一致性 多轮对话前后回答不矛盾、规则统一。
3. 规划有效率 自主拆解复杂问题生成的执行计划是否可行，无效步骤、重复工具调用占比。
4. 纠错能力 用户指出 Agent 错误后，能否识别并修正答案，不固执错误结论。

（四）工具调用能力（Function Calling Agent）

1. 工具调用准确率 正确选择对应工具、入参格式 / 参数数值无误。
2. 无效调用率 重复调用同一工具、调用无关工具、参数缺失导致调用失败的次数占比。
3. 工具结果整合率 拿到工具返回数据后，能否提炼有效信息，不直接返回原始杂乱接口数据。

（五）语言表达质量

1. 简洁度 无冗余废话、不重复复述无关内容。
2. 通顺度 语句逻辑流畅，无语法混乱、机翻生硬问题（适配英文输出场景）。
3. 适配度 根据用户提问语言自动切换对应语种回答，中英双语表达自然。

四、第三大类：工程性能指标（系统稳定性、服务侧指标）

1. 响应时延

1. 首字符输出时延 TTFT：流式输出首字耗时，影响用户体感。
2. 完整回复平均耗时：从提问到完整返回全部内容时长。
3. 检索子模块耗时：向量检索、BM25、重排 Rerank 各阶段耗时拆解。

2. 系统稳定性

1. 服务可用率 SLA：Agent 全年正常服务时长占比，目标 99.9%+。
2. 请求失败率 超时、接口报错、模型 OOM、向量库崩溃导致回答失败的请求占比。
3. 并发承载上限 稳定支持的同时在线对话数，高并发下时延增幅。

3. 资源消耗

1. LLM 调用量：平均单轮对话消耗 token（输入 + 输出）。
2. 向量检索资源开销：单次检索向量计算、内存占用。
3. 缓存命中率：重复相似 Query 命中缓存，减少重复检索与 LLM 调用。

五、第四大类：人机交互与对话指标（多轮 Agent 专用）

1. 平均对话轮次 简单问题轮次越低越好；复杂任务合理轮次区间可基线化。
2. 上下文遗忘率 多轮对话丢失前文关键信息，需要用户重复说明的占比。
3. 主动澄清率 问题模糊、缺少参数时，主动引导用户补充信息，而非直接给出错误答案的比例。
4. 多意图识别准确率 用户一句话包含多个诉求，Agent 能否全部识别并逐一解答。
5. 无关应答率 用户提问超出业务范围，Agent 乱答而非礼貌拒绝 / 引导转人工。

六、评测执行方式分类（落地可用）

1. 自动化批量评测（日常迭代回归）

• 数据集：构建标准测试集，覆盖中英文问句、简单 / 复杂问题、边界异常问题。
• 自动指标：召回 Precision/Recall、幻觉检测、工具调用正确率、时延、失败率、缓存命中率。
• 工具：LLM-as-judge 自动打分，跨语言 Judge 支持英文 Query 评测中文知识库结果。

2. 人工抽样评测（每周校准自动化分数）

3. 线上实时埋点观测（生产持续监控）

七、权重分配参考（可根据业务调整）

1. 业务价值指标：40%（解决率、转接率、满意度，最高权重）
2. 能力质量指标：35%（准确率、幻觉、检索匹配、工具调用）
3. 交互对话指标：15%（上下文、澄清、多意图识别）
4. 工程性能指标：10%（时延、稳定性、资源消耗）

八、基线与迭代判定规则

1. 设定版本基线：上线稳定版本各项指标作为基准线。
2. 版本迭代验收标准：
   1. 幻觉率下降、一次性解决率提升≥3% 视为正向优化；
   2. 转人工率上升、幻觉率大幅上涨则禁止发布；
   3. 时延涨幅超过 20% 需优化推理 / 检索架构。

九、适配你上一问中英知识库 Agent 的专属补充指标

1. 英文 Query 召回有效率：英文提问下正确匹配中文文档占比；
2. 跨语言幻觉增量：英文提问场景独有的翻译类幻觉（翻译偏差造成错误）；
3. 双语输出通顺度：Agent 根据输入语种输出对应语言回答的自然程度；
4. 中英混合问句识别准确率：同时包含中英文的提问能否正常检索与解答。

十、输出交付物清单（可直接作为文档交付）

1. Agent 评价指标体系总表（含指标定义、计算口径、采集方式、优劣标准）
2. 自动化评测数据集构建规范
3. 人工标注打分细则
4. 线上监控埋点需求文档
5. 版本迭代指标验收阈值标准