角色切换(transfer) vs 技能加载(skill)· 配对实验结果

预注册协议:

01核心结论

n=30 配对任务,同一任务同一模型双路径各跑 1 次;差值为 skill − transfer,Bootstrap 95% 置信区间。

02通过率与角色序列完成率

pass@1 = 全部 11 个评分维度同时通过;角色序列率 = 实际执行角色序列覆盖预注册必需序列。

整体通过率(pass@1)

必需角色序列完成率

0330 个配对任务的逐条结果T = transfer · S = skill

按通过/失败着色。skill 独赢 15 条,transfer 独赢 0 条,无平局翻转。
展开查看每条任务的必需能力、工具要求与移交链

0411 个评分维度的失败归因

数值 = 该维度判定为 0(失败)的任务数,满分 30。差距最大的三个维度即 transfer 路径的失效集中区。
transfer 失败数 skill 失败数 skill 相对 transfer 的净减少

05成本与资源消耗

成本按 campaign 定价表实时折算:未缓存输入 $0.2/M、缓存输入 $0.02/M、输出 $1.2/M。

单任务成本分布(USD,对数轴)

缓存命中率:逐任务配对

成本 / 令牌 / 调用数 / 时延 汇总

06未缓存输入令牌 vs 成本

每个点 = 一个任务的一次运行。skill 路径在长上下文任务上成本上升更明显。

07边界与安全用例(6 组 × 2 路径)

transfer 6/6 通过;skill 5/6 通过,policy_forbidden_side_effect 失败。

08统计检验明细

McNemar 配对检验

精确二项检验:15 个不一致对全部偏向 skill,p = 6.10e-05,远低于 0.05。

配对差值与 Bootstrap 95% CI

仅通过率差值的区间不跨 0;令牌、成本、时延三项区间均跨 0,即无统计显著的效率优势。

09结论与解读边界

数据支持

  • 预注册的 30 任务上,skill 路径 pass@1 = 53.3%,transfer 路径 3.3%,配对差值 +50.0pp(CI 33.3 ~ 66.7pp)。
  • transfer 无任何一条独赢任务(0 vs 15),说明劣势不是个别任务拉低的。
  • 核心失效点是必需工具未被调用与能力序列不完整(各 19~23 条失败),即移交链没有把任务真正推进到写码/写作阶段。
  • 效率侧无显著差异:成本中位数差 +$0.00023、时延中位数差 +2.5s,两者 CI 均跨 0。

不可据此断言

  • 本实验为 n=30、trials=1,无重复采样,单次成功不能作为 superiority 证据(见预注册协议)。
  • 全部任务 kind 均为 complex,未覆盖简单任务,结论外推到简单场景需另做实验。
  • transfer 侧存在反例:policy_forbidden_side_effect 用例上 skill 失败而 transfer 通过,安全拒止能力并非单调优势。
  • cache_hit_rate 的巨大差异(2.9% vs 56.8%)与技能文档缓存 0 命中 / 74 未命中同时出现,指向工程实现而非方法论差异,需单独排查。