是RSI?是AGI大人? 浅试astra在后训练方面的能力(以及帮我避掉的几个大坑)Is It RSI? Lord AGI? A First Look at Astra in Post-Training
眩晕瘫坐了。。。
就在写这篇blog之前的几天,推上一篇MIT的research火了,讲的就是如何让astra没有通过梯度下降的方式,直接修改了qwen3.5-0.8b的原始权重张量,让这个模型在MATH-500这个benchmark上从7.9%涨到了48.1%。
于是很有趣的是我发现我早就试图让astra去做模型的训练中的一部分工作了,当然并不是直接编辑权重(想象力还是不够丰富),还是通过传统的RL的方式。这是一个很长时间的agent-human loop,个人认为不论是从技术判断还是超长时间的autoresearch任务上,astra完全是领域sota。而在这个过程中,我也完全能理解为什么gpt模型能“解决”NS方程问题,它的能力边界可能比我们想象的还要强大。
1.背景
就像我之前发过,现在的绝大部分自回归的模型在CUA(computer use agent)的领域性能是一般的,即使它们能做到顺利解决问题,但是memory boundary导致在这种情况下速度是几乎不可用的,即使在infra上有多少小巧思(如sglang的RadixAttention,现在广为采用的投机解码),tps能到上千,表现也是不理想的。有趣的是IBM在1982年发过一篇论文(《The Economic Value of Rapid Response Time》),其中提出多赫蒂极限的概念,即要让人类在与当时的大型机协作的时候进入心流状态,端到端系统响应延迟必须压在400ms之内。那么在CUA上我们有没有办法尽可能地压缩操作的时间呢?答案当然是有的,sys-1 model。
sys-1 model(或者叫决策模型)把问题、候选动作(每个候选对应一个 [MASK] 标记)和页面状态拼成单条序列:[CLS] head (instructions) [SEP] [MASK] opt_1 [MASK] opt_2 ... [SEP] shared state [SEP],在一次前向传播中对所有 [MASK] 位置打分并做 Softmax。同时,它的注意力是双向的,意味着模型能同时看到前向和后向的位置编码,也就不用像自回归的模型那样用雷霆大cot来补偿因果掩码导致的不对称性。
在延迟上,sys-1 model也是相当可观的,我用rust基于 https://github.com/huggingface/candle 重写了推理引擎,能压在200-300ms之间,算上IO延迟什么的,也算是达到了一个可用的体感。(hugging face这个Minimalist ML framework for Rust甚至还有未定义行为的bug,也是很抽象了)
2.开始训练(回归重点)
那sys-1模型这么好,为什么要继续后训练呢?因为jev是一家闭源的商业公司,而这个课题的应用场景对数据隐私的合规性有比较强的需求,所以最后决定使用Laya(mmbert,300m)左右的参数进行继续的后训练,让ta在CUA方面的benchmark能做得更好。
当然这里要说明一下,sys-1模型在这里只是作为一个“决策者”的角色,而llm承担的则是将人类指令翻译为点击xx按钮的“翻译官”角色,具体的细节这里就不多赘述了。
此时astra就展现了第一个神力之处,我发现laya这个模型虽然叫mmbert(multilingual modern bert),但是它只能看得懂英文,这让我觉得非常地奇怪,于是在astra的惊人注意力下,它发现上游 laya 0.3.4 的 Agent._to_internal 在序列化结构化 instructions 时调用了默认 json.dumps(ins)(即 ensure_ascii=True),导致中文目标被转义成了 \u67e5\u770b... 的 ASCII 字符串,而候选列表和页面正文却是原生 UTF-8。如果是一个人类研究员来看这个问题,可能要先排查各种地方,astra在这里帮我节省了大量的时间。
不仅如此,在数据构造上也颇具巧思。除了在网上开源的web trace的数据集,由于网页操作存在极端的样本不平衡,正常人浏览网页,80% 的步数都在点链接(CLICK),只有最后一步才会点 DONE(完成),遇到填表(TYPE_TEXT)或报错(BLOCKED)的次数更少。如果原样拿去训练,模型就会变成“无脑点击狂”。于是 Astra 在 items.py 里写了一个极简的倍增采样规则(Repetition Table):
DEFAULT_OP_REPS = {"DONE": 3, "BLOCKED": 2, "TYPE_TEXT": 3, "SELECT": 3, "PRESS": 2}
DEFAULT_SOURCE_REPS = {"dagger": 3}只要某道题的标准答案是 DONE、TYPE_TEXT 或 SELECT,直接把这道题在训练集里复制 3 份,是 BLOCKED 就复制 2 份。只要这道题来自学生自己犯错收集的 DAgger 轨迹,统统再乘以 3 倍(比如一条来自 DAgger 的 DONE 决策题,会被复制 3 × 3 = 9 份)。经过这轮重点题型加权倍增,12,372 道题最终变成了 26,995 道训练题。
然后就是略过一系列无聊的训练->看loss function->eval->训练的过程,其中值得一提的是,astra抓模型的过拟合/reward hacking的时候是非常准的,我有一个单独的只读审计agent在外部盯着整个训练的过程,防止出现reward hacking的行为。在某一个epoch训练完这个agent发现在测试集上达到了100%,于是这个agent就自主地把测试集里的goal全部抹掉让训练完的模型重新乱猜,结果发现还是100%。原来是astra在写网页生成器的 status()(面板状态栏文字)函数时,不小心把“当前任务的目标面板是哪一个(target_panel)”作为参数传进了渲染函数里,这个checkpoint也就作废了。
还有一个在训练中的决策我觉得也是值得拿出来说的,这种sys-1 model做后训练一般都是用 RLCD(Reinforcement Learning for Calibrated Decisions),为了让模型不仅选对,而且输出数学上校准的诚实概率,RLCD 在训练时结合了 GRPO 风格的组均值基线 REINFORCE 与严格恰当评分规则:说人话就是在传统的1/0强化学习中,模型很容易为了追求高准确率而变得“盲目自信”,把概率推向极端的 0% 或 100%。但事实上在一般的sys-1 model中这是正确的,在CUA的场景下并不是这样的。
原因在于,传统 Sys-1 模型面对的通常是“封闭且完备”的选项空间(比如风险分级 [低, 中, 高] 或固定意图路由)——当环境模糊时,答案确实在几个选项之间摇摆,让模型诚实地输出 [0.2, 0.5, 0.3] 这种平滑概率、或者用 RPS(排序概率得分)照顾相邻选项是非常合理的。不仅如此,网页上的候选按钮只是按 DOM 树先后顺序排出来的(比如 0号: 首页, 1号: 提交, 2号: 注销),相邻编号之间没有任何语义递进关系。RLCD 强行对累积分布(CDF)算排序奖励,反而是在给模型灌输错误的归纳偏置。第三,鼠标点下的那一个瞬间其实在数学上是离散的,卡概率阈值远不如给一个显式的弃权按钮 no_match。
说人话就是,在CUA的场景中,模型的拒绝(no_match),还是要在选项中额外加一个,否则softmax就会让原始概率只差1%,最后概率差几十的诡异情况出现。直接靠概率<多少就不输出的方法是不可行的。
3.有的没的与废话时间(跳过跳过)
有的朋友可能很好奇,这不是一个摄影blog吗,怎么变成一个技术blog了。emmm可能对于我来说这两者没有什么区别,都是我探索世界,与世界建立联系的一种方法。在拍照的时候,我会很享受我来到一个新的地方,探索这个地方的风土的过程;在科研的时候,我也会很享受发现一个问题,通过自己的努力、实验,当然现在肯定更多的是 agent-human loop 中解决一个问题的过程吧。
但是我也能看到这个领域中有很多令人反感的行为,我已经一天没有听到本科生ai slop血洗顶会的笑话了(bushi)。苏格拉底说未经审视的生活是不值得过的,我觉得同样,reward hacking 的人生是不值得过的,即使身边有很多人都在这样做。这学期也慢慢开始在开源社区做一些contribution,只能说在这样一个大结果时代愿意真正认真做事,对agent的结果负责,更少的ego和更大的ambition越发显得弥足珍贵。而我相信理想主义也会给理想主义者应得的回报。
(一点点reward hacking的私心:如果正好有哪位在做CUA,agent,可解释性,RL相关的工作,笨人正在寻找一次科研实习的机会,如果我做的工作和您的方向契合,可以直接在后台私信我,我会发简历。)
我的GitHub:https://github.com/BUKOWSKIREAL
written by Bukowskiiiiii