陪棒无度过漫长岁月
6 hours ago
Edit 工具的 bench:我们怎么把「-97% 的优化」杀掉
#博客更新
via
棒无
Telegraph
Edit 工具的 bench:我们怎么把「-97% 的优化」杀掉
先说结论 Edit 工具是 harness 里最小的一格:差不多就是「拿 oldText 找位置、换上新内容」几百行代码。但它正好卡在模型和环境之间——模型负责知道要改什么,它负责让这件事真的改对。 我们给它搭了三层 bench,把四个 harness 放进同一批 case 里对撞,最后拿到的最有价值的产出不是某个优化点,而是对自己的三次证伪: 我们排在第一位、反事实重放里「修复 97% 失败」的改动(行首缩进归一化)——不可复现,降级。 那 97% 集中在单一 case,且 live A/B 里 base…
Home
Powered by
BroadcastChannel
&
Sepia