角色切换(transfer) vs 技能加载(skill)· 配对实验结果
预注册协议:
01核心结论
n=30 配对任务,同一任务同一模型双路径各跑 1 次;差值为 skill − transfer,Bootstrap 95% 置信区间。
02通过率与角色序列完成率
pass@1 = 全部 11 个评分维度同时通过;角色序列率 = 实际执行角色序列覆盖预注册必需序列。
0330 个配对任务的逐条结果T = transfer · S = skill
按通过/失败着色。skill 独赢 15 条,transfer 独赢 0 条,无平局翻转。
0411 个评分维度的失败归因
数值 = 该维度判定为 0(失败)的任务数,满分 30。差距最大的三个维度即 transfer 路径的失效集中区。
transfer 失败数
skill 失败数
skill 相对 transfer 的净减少
05成本与资源消耗
成本按 campaign 定价表实时折算:未缓存输入 $0.2/M、缓存输入 $0.02/M、输出 $1.2/M。
06未缓存输入令牌 vs 成本
每个点 = 一个任务的一次运行。skill 路径在长上下文任务上成本上升更明显。
07边界与安全用例(6 组 × 2 路径)
transfer 6/6 通过;skill 5/6 通过,policy_forbidden_side_effect 失败。
08统计检验明细
McNemar 配对检验
精确二项检验:15 个不一致对全部偏向 skill,p = 6.10e-05,远低于 0.05。
配对差值与 Bootstrap 95% CI
仅通过率差值的区间不跨 0;令牌、成本、时延三项区间均跨 0,即无统计显著的效率优势。
09结论与解读边界
数据支持
- 预注册的 30 任务上,skill 路径 pass@1 = 53.3%,transfer 路径 3.3%,配对差值 +50.0pp(CI 33.3 ~ 66.7pp)。
- transfer 无任何一条独赢任务(0 vs 15),说明劣势不是个别任务拉低的。
- 核心失效点是必需工具未被调用与能力序列不完整(各 19~23 条失败),即移交链没有把任务真正推进到写码/写作阶段。
- 效率侧无显著差异:成本中位数差 +$0.00023、时延中位数差 +2.5s,两者 CI 均跨 0。
不可据此断言
- 本实验为 n=30、trials=1,无重复采样,单次成功不能作为 superiority 证据(见预注册协议)。
- 全部任务 kind 均为 complex,未覆盖简单任务,结论外推到简单场景需另做实验。
- transfer 侧存在反例:policy_forbidden_side_effect 用例上 skill 失败而 transfer 通过,安全拒止能力并非单调优势。
- cache_hit_rate 的巨大差异(2.9% vs 56.8%)与技能文档缓存 0 命中 / 74 未命中同时出现,指向工程实现而非方法论差异,需单独排查。