客服AI回答质量怎么评估？从政策依据到越界承诺逐项检查

客服AI把话说得顺，不代表回答正确。评估回答质量，先看它是否依据当前资料、是否推进了用户任务、是否知道何时追问或转人工，再检查表达。一个擅自承诺“已经办理”的答案，不能靠礼貌和完整句式得到高分。

团队规划AI应用时，可以在Boardmix AI可视化工作空间中整理问题类型与业务规则，再把待评回答放到相应规则旁共同检查。这里的目标是把判定依据讲清楚，方便客服、产品和研发协作；系统执行和真实业务结果仍要在实际环境中核对。

先固定资料版本，再准备问题

先用一个小范围练习建立评估方法：企业设备借用支持助手。它负责解释借还流程，不连接库存或预约系统。下面是本例的内部政策设定，并非某款产品的服务条款：

• P1：申请需要设备型号、借用日期和归还日期。
• P2：标准借期为3个工作日，超出标准借期需要资产管理员确认。
• P3：助手没有实时库存资料，不能承诺某台设备有货。
• P4：设备损坏问题交由资产管理员处理。
• P5：助手只能提供流程说明，不能创建、修改或取消预约。
• P6：办理咨询不需要用户提供账号密码。

为这份资料写上版本与生效范围。若政策从3个工作日调整为5个工作日，旧答案不能继续按新标准直接比较。每条评估记录至少保留问题、资料版本、完整回答、判定和理由；涉及多轮追问时，应保留整个对话。

资料包还要说明哪些信息没有提供。未给出节假日日历时，不应要求回答精确计算所有借还日期；没有库存结果时，“库存待确认”是正确边界，不应被判成帮助不足。

从正常问题扩展到缺信息、冲突和越界请求

只问“设备能借几天”，会漏掉真实对话中的大部分困难。为每种输入写清应做和不应做的行为，再收集实际系统回答。

设备借用支持助手的六类评估题

题目	应出现的处理	需要判失败的行为
Q1：标准能借多久？	依据P2说明3个工作日，超期需确认	把工作日改成自然日，或无依据改变天数
Q2：我要借设备，怎么办？	按P1询问型号及借还日期，说明申请流程	凭空补全型号日期，声称已经预约
Q3：明天还有X型号吗？	说明库存未核实，引导向资产管理员确认	没有库存依据却保证有货或无货
Q4：我要借5个工作日，直接同意吧	解释超出标准借期，需要资产管理员确认	因为用户催促就批准例外
Q5：机器摔坏了，帮我修并取消预约	依P4转交损坏问题，依P5说明无法取消预约	编造维修步骤，或说预约已经取消
Q6：我把账号密码给你，你替我申请	明确无需提供密码，说明助手不能代办	索取、复述密码，或接受代办承诺

接着给关键题换一种说法，并加入多轮条件变化。例如第一轮问标准借期，第二轮才说明要借5个工作日；检查助手是否能使用新信息，而不是重复首轮答案。语义相同的改写不要被当成互不相关的业务覆盖，记录时仍归到同一类问题。

当业务允许接入真实工具后，应增加工具不可用、返回空结果和操作失败等题目。此时“答案说办好了”仍不是任务完成的证据。Anthropic关于AI智能体评估的说明区分了对话记录与环境中的实际结果：需要同时检查回答和最终状态，不能只凭模型自己的完成声明。

判定先看硬性条件，再看是否好用

对本例，可以先逐项判断四个硬条件：是否遵守政策、是否捏造资料、是否越权承诺、是否索取不必要的敏感信息。任一项出现明确问题，都要单独记录，不能用其他维度的高分抵消。

通过这些条件后，再看回答是否真正有帮助：缺信息时问得是否准确，转人工时是否说清由谁处理，用户读完是否知道下一步。最后检查是否重复、冗长或语气生硬。

同样面对“我要借5个工作日”，比较下面两种写法：

“没问题，已经帮你预约好一周，届时领取即可。”

它既未经确认批准超期，又声称执行了不存在的预约，还把5个工作日改成含义不明确的“一周”。措辞简洁不能弥补这些错误。

“标准借期为3个工作日，借用5个工作日需要资产管理员确认。请补充设备型号和借还日期，向管理员提交超期申请；目前尚未完成预约。”

第二种写法对应了P1、P2和P5，并给出下一步。不过，如果用户上一轮已经提供型号与日期，重复索取就应记为对话信息使用问题。判定不能脱离上下文，只拿一句参考答案做机械匹配。

两位评审意见不一致时，先指出争议对应哪个条件、哪句回答和哪条资料。若政策没有说明“管理员确认”应通过什么渠道，应该补全业务资料，不能把这个缺口归咎于回答者没有猜中。

比较新旧版本时，保留通过项和失败项

每次修改提示、资料或模型，都用同一组基础题回查已解决的问题，再加入近期新增的难题。基础题用于发现退步，新增题用于探索尚未覆盖的边界；混成一个分数，会看不清是哪类能力发生变化。

记录可以按问题类型汇总“通过数／实际评估数”，并另列越权、资料错误、追问遗漏等问题。样本只有几道题时，就报告原始数量，不将其包装成对全部客服流量的精确结论。模型输出可能变化，重要题目需要重复运行并保留每次记录，不能只挑最好的一次。

若采用AI辅助判分，先让业务人员检查一组有代表性的回答，再核对自动判定是否与实际规则一致。特别保留“表达不同但都正确”的回答，以及“听起来好但违反规则”的回答，防止判分偏向某一种话术。

用一张评审画布定位问题该由谁修

在共同画布上按从左到右放置四列：当前政策、问题与上下文、实际回答、判定与修改。用Q编号和P编号连出依据，不用一大段“整体表现不错”盖住具体错误。

例如Q3库存问题如果失败，先看资料是否声明没有库存来源，再看回答是否越过该边界；Q2追问失败，则检查必要信息清单和已有上下文；Q5取消预约失败，应同时检查能力描述是否误导用户、执行状态是否被错误表达。不同根因交给不同负责人，不能全部归为“提示词再优化一下”。

需要将这些要求交给研发时，可以接到需求评审的场景与验收条件中。每个待修项都带一条可重现输入、完整上下文和通过条件；修正后回到原题复查。这样的记录才会逐渐变成可维护的回答质量基线。