回复沙盒
上线前用真实模板试跑回复，由 AI 裁判打分，把问题挡在发出去之前
最后更新：2026-09-22
能力概述
回复沙盒是巡检回复的试跑环境。它用和线上完全一致的模板和知识库生成回复，但不会真的发到任何平台，让你在正式启用前先看清楚 AI 会怎么说话。
页面顶部切换两种模式：对话调试 与 用例回归 / 质量评估。
对话调试
模拟一个用户和你多轮对话，边聊边看 AI 怎么回。
配置项：
| 字段 | 说明 |
|---|---|
| Agent | 用哪个巡检智能体的配置 |
| 作品 | 关联到哪条作品（影响 AI 看到的上下文） |
| 平台 / 类型 | 模拟的是哪个平台的评论还是私信 |
| 发送者 | 对方昵称，不填默认为”沙盒用户” |
展开 「回复参数」 还能调更细的东西：温度、是否启用知识库、用哪个知识库、检索条数与示例条数，以及是否把真实私信历史、真实评论背景、当前作品信息带进上下文。
顶部可以 「载入当前模板」，把线上正在跑的评论 / 私信模板拉进来，改几句再运行，对比效果。
用例回归 / 质量评估
批量跑一组用例，得到可比较的分数。适合改完模板或知识库之后做回归。
准备用例
- 新建用例：手工写一条待回复的内容
- 导入 Excel：把攒下来的真实评论 / 私信批量导入
运行
点运行后，系统逐条生成回复。勾上 「LLM 裁判打分」，会有一个独立的 AI 裁判按四个维度自动打分：
| 维度 | 看什么 |
|---|---|
| 相关性 | 有没有答到点子上 |
| 人设契合 | 语气是不是你要的那个身份 |
| 不跑题 | 有没有扯到无关内容 |
| 合规 | 有没有说不该说的 |
质量评估模式还会额外输出 动作准确 和 意图准确 两个百分比，衡量 AI 判断”该回复还是该跳过""这是咨询还是投诉”的准确率。
人工复核
每条结果都可以打一个人工分并写备注。裁判分和人工分放在一起看，能发现裁判本身在哪些场景偏松或偏严。
点某条结果可以看完整的裁判说明，知道它为什么给这个分。
典型场景
上线前体检：新配好一个巡检智能体，先导入 50 条历史真实评论跑一遍，看平均分和低分样本。低分集中在某一类问题上，就回去补知识库。
改动回归：调整了回复模板或知识库后，用同一组用例再跑一次，两次的平均分和动作准确率一对比，就知道这次改动是变好了还是变差了。
口径对齐：团队几个人分别给同一批结果打人工分，讨论分歧在哪，把”什么算好回复”的标准统一下来。