用户记忆验证报告

STATUS

核心指标

模式 × 层级 矩阵

通过率 (pass_rate)

颜色越绿越好;单元格显示各模式在 layer1/2/3 的通过率,末行为整体。

低高

平均奖励 (mean_reward)

法官给出的 0–1 奖励均值,越高代表回答质量越好。

低高

幻觉率 (hallucination_rate)

被一票否决的幻觉占比,越低越好(此报告均接近 0)。

整体对比 · 通过率 / 奖励

四种记忆模式在 60 个用例上的整体表现。

跨层级趋势

各模式在不同层级的通过率

分组柱状图:layer1(单会话) → layer2(顺序多会话) → layer3(独立多会话) 的通过率演变。

各模式在不同层级的平均奖励

奖励随层级的变化趋势。

评分维度拆解

四维评分均值(精确 / 召回 / 推理 / 主动)

每个模式跨三层的平均分(1–5 分制)。可切换查看单层级。

成本与延迟

各模式 Token 消耗与调用延迟

左:总 Token 消耗(百万);右:单次调用平均延迟(秒)。

验收标准

逐用例明细(240 条)

Test ID层级模式 标题会话 通过奖励幻觉 精确召回推理主动