小米 MiMo-V2.6 技术报告精读：强化学习规模化到底难在哪

小米 LLM-Core 团队这次的报告回答了一个很具体的问题：把智能体强化学习(RL)的训练算力、环境多样性和打分器算力三个维度同时放大，模型能力能不能持续上涨。答案是能。DeepSWE 从上一代的 19.0 涨到 71.9,CyberGym 从 40.0 涨到 94.0,而且训练动态、RL 环境、端到端框架全部开源。

报告正文四十多页，架构、预训练、mid-training、RL、基础设施、开源复现各占一块。下面按“为什么这么设计”的顺序重排内容，跳过纯参数罗列，把工程决策的来龙去脉讲清楚。

先看清楚：MiMo-V2.6 是个什么模型

一个全模态 MoE 家族，两个规格同一套设计。Pro 版总参数 1.02T、激活 42B;Flash 版总参数 310B、激活 15B。骨干是混合稀疏 MoE Transformer,局部滑窗注意力(SWA)和全局注意力(GA)交替堆叠：模型堆叠 M 个混合块，每个混合块由 N 个连续 SWA 块加一个 GA 块构成，滑窗大小 128,SWA 块和 GA 块都接无共享专家的稀疏 MoE FFN。唯一的例外是第一个 Transformer 块，全局注意力配稠密 FFN,用来稳住早期表示学习。

多模态由三个模块补齐。视觉侧 MiMo-ViT 只有 681M 参数，用 sink 增强的 SWA 取代 MiMo-VL-7B 时代固定不重叠的窗口注意力，局部 SWA 层在行优先、列优先两种 token 序列化之间交替，周期性插入 GA 层直接聚合全局上下文，高分辨率处理的计算成本因此大幅下降，预训练用了超过 4T 图像 token。音频侧分两段：tokenizer 用 2000 万小时音频训练，20 层残差向量量化器把每帧表示成 20 个离散音频 token;patch encoder 每 4 帧打包一组，把 25Hz 的序列压到 6.25Hz 再进骨干。推理侧配 5 层投机解码器，一次前向预测后续 7 个 token 交给骨干并行验证，草稿层全部用滑窗注意力加分组查询，滑窗 1024、块内双向，控制 KV-cache 体积。

1.02T 的总参数里每个 token 只有约 4% 在干活。这个激活比是后面 RL 能把单步推到几十亿 token 的物理前提，显存和算力都被 MoE 稀疏性省下来了。

RL 之前，为什么还要专门做一轮 mid-training

因为 pre-train 完的模型知识够，但不会当 agent。mid-training 干三件事：用 agent 中心的数据补上智能体任务轨迹，把上下文推到 1M,把优化器换成扛得住大批量的 Muown,给 RL 留足探索空间。

预训练分两阶段，先纯文本打底，再接上 ViT 和音频编码器做全模态联合训练；上下文从 32K 起步，中途扩到 256K。Flash 吃了 48T token,文本阶段 26T、全模态阶段 22T;Pro 吃了 30T,两段分别是 27T 和 3T。mid-training 的数据混合横跨真实智能体轨迹，代码、通用、视觉、研究任务都有，配上高质量文本、仓库级代码和图像视频音频；先以 256K 上下文消耗大部分算力，最后一段扩到 1M。

优化器切换是这段里最有嚼头的决定。基座是 AdamW 训的，初步实验显示混合任务 RL 里批量一大，优化效率就开始衰减。Muon 类优化器对隐藏层权重矩阵做正交化更新，越过临界批量之后仍保持数据效率，正对大批量训练的胃口。他们用的变体叫 Muown,在 Muon 上加了显式行范数控制，抑制谱范数漂移、降低对权重衰减的敏感度，开销可忽略；embedding、LM head 和 MoE router 留在 AdamW 上。

换优化器这事，前人报告过会出优化器失配、性能退化。他们的 mid-training 全程没出现 loss spike。敢在基座训练中途换优化器还实测稳住，背后显然有充分的内部验证。顺带一提，mid-training 还做了 MXFP4 量化感知训练，让模型提前适应低精度计算。

RL 是怎么“scale”起来的：三个维度一起拧

批量与吞吐、环境与 harness 多样性、打分器算力，三个维度同时扩。整个过程数千张 GPU 一次跑完，报告第 5 章的标题就叫 “You Only RL Once”,Pro 花了 260 万美元，Flash 90 万美元。

批量先看数字。每个训练步 1,568 个 prompt,组大小 16,单步滚动 25K 条序列，折合 27 到 37 亿训练 token,单条序列大约 11 万到 15 万 token,上下文上限 1M。RL 目标拆成三段：rollout 按组生成候选解，grading 在二值测试之外投入额外算力做智能体评估，training 用收集到的 token 更新参数。Pro 的成本里 rollout 占 43.8%,training 占 43.5%,grader 拿走 12.7%。

12.7% 这个数我会特别记一笔。很多人排 RL 预算只算训练和采样，把打分器当零成本附属。等奖励信号要覆盖长程任务的求解质量和行为质量时，打分本身就是一笔不小的算力开支。

收益是实的：DeepSWE 上 Pro 从 58.4 涨到 72.6,Flash 从 48.7 涨到 65.7,随累计成本单调上升。训练任务配比里，智能体与竞赛编码占 68%,美学设计 13%,通用工具使用 12%,网络安全 4%,上下文遵循 3%。

大批量为什么好：rollout 按序列并行，训练按数据并行 rank 切分，吞吐随 GPU 数增长；HBM 被在跑的 batch 占满，算术强度拉满。麻烦在 rollout 和 grading 都有长尾，于是上 partial rollout:收集训练批时，没跑完的序列不丢弃，留到下一个 rollout 阶段接着跑。代价是策略更新后续跑序列要重建 KV cache,相当于再 prefill 一遍。所以批量和 partial rollout 是捆绑设计的，大批量才能摊薄 re-prefill。再配动态采样器过滤全对或全错的组，Sample Mixer 稳住多任务批次的分布，loss 聚合用 prompt-mean,防止响应长度在 RL 里涨得太快。

代码任务：五条合成路径，三道质检

代码对 RL 最友好，候选解可以直接执行、用自动化测试评分。但可执行评估不等于可靠监督：测试可能漏掉要求的行为、错杀正确实现，或者在不同次执行里给出不一致结果。

合成走五条互补路径。GitHub 的 PR 和 issue 是主力，缺 issue 描述时由 LLM 从参考补丁重建规格，并明确要求隐去可能泄题的实现细节；组织内部员工贡献的真实开发请求，覆盖交互式“vibe coding”场景；规格驱动的多约束代码生成；用 CodeMidas 从现有代码库的功能实现反推任务，不依赖 issue 或 PR 也能扩；长程软件工程任务，agent 迭代扩写需求、引入跨组件依赖、构造测试。公开数据集和授权供应商的样本过滤后并入，最终覆盖多种编程语言、开发场景、实现复杂度和任务时长。

监督质量设三道关。第一道，规格与测试对齐：审查覆盖率，删掉规格里没有的过严检查。第二道，rollout 审计：每个任务让编码 agent 试四次，审计 agent 拿到全部四条轨迹、问题陈述、测试和参考补丁，先讲清楚正确解需要什么、判断测试是否覆盖，再逐条对照提交解和观察到的奖励；通过解被判错标记为潜在假阳，提示验证不完整，失败解被判对标记为潜在假阴，提示测试过严或执行故障。第三道，重复执行：有参考补丁的任务，补丁应用前 F2P 测试必须失败、P2P 必须通过，补丁后都通过，而且这套结果要在八次重跑里保持稳定，筛掉 flaky 测试和环境导致的奖励波动。

通用、视觉、安全：各自的验证器怎么造

通用智能体任务面向真实职业工作流，环境是工作区加一组软件工具，通过 MCP、API、CLI、GUI 访问。为了兼顾真实感和大规模 RL 的可复现性，他们收集真实文件做直接纳入或合成参考，用自动化多智能体流程构建本地软件 mock,复现支持的操作、状态变化、输出格式和错误响应；所有状态本地存储，每次 rollout 跑在可重置到固定初始状态的隔离沙箱里，避开网络波动和服务限流。任务用原子化的二值 rubric 项评估：代码检查管确定性属性，数据库值、交付格式这类；LLM 检查管开放性内容，同一模型重复判定加跨模型判定的一致性用来识别歧义。负向检查盯住对无关文件或数据库的意外改动，还会构造“看起来对但没解题”的对抗解。RL 期间由自托管的 MiMo-V2.6-SFT 模型担任打分器。

视觉任务分两类。开放设计，网站、交互应用、游戏、3D 场景、幻灯片、SVG、视频、Figma 设计都算，美学质量没法用固定规则穷举，先迭代打磨运行正确性、指令遵循、布局完整性、基础美学四个维度的点评 rubric,稳定后引入组评分，同组渲染产物两两比较定强弱。高保真复刻有明确参照，以像素级相似度规则指标为主，LLM 整体评估为辅。

网络安全任务训练真实漏洞复现：给定项目和目标 bug,构造能触发它的输入。难点不在触发崩溃，复杂 C/C++ 项目有几十条可达崩溃路径，难在触发报告里那一个特定漏洞。现有 oracle 都有缺陷：补丁二进制差分测试会因为补丁不完整或两个提交间的无关改动翻车；LLM 判定同一 PoC 不同轮次给不同结论，当不了稳定奖励。他们的做法是从 sanitizer(ASan/MSan/UBSan)报告里抽两个属性，漏洞类型和崩溃位置(最顶层的项目级栈帧)，PoC 的崩溃两者都匹配才接受。规则字符串匹配，确定、可复现、计算开销可忽略；任务描述也从同一份报告生成，描述与验证共享单一事实源。给 agent 的环境是完整源码加编译好的 harness 二进制，比只给源码更贴近真实漏洞分析里挂调试器、看内存、从运行时观察构造变异的工作方式。他们还用这套方法修正了 CyberGym 里原有的缺陷评估环境。

为什么不直接用生产级 harness 训

生产 harness 里塞满工程护栏、多步工作流和大量约束 prompt,这些都在任务完成奖励之外，credit assignment 不可靠，奖励测不到的要求会被直接忽略；模块紧耦合，没法单独改变某个交互机制，也没法靠受控重组攒多样性。

替代方案是 mini-harness。所有变体从同一个最小 agent loop 出发，自带任务完成的三件套：system prompt、工具、上下文管理。模块保持最小和解耦，实现可以自由重组。按 Code、General、Visual、Cyber 派生出多样的任务适配配置，harness 多样性由此成为任务与环境多样性之外的又一根训练轴。实测里，四个训练 mini-harness 之外，三个 held-out harness(codex、claude code、mini-swe-agent)的平均 Pass@1 从约 50% 涨到 66%,训练与 held-out 的差距收窄，能力确实跨 harness 迁移。

打分器：让“过了测试”不等于“做得好”

二值测试奖励的毛病是信息量不足：一组全过，advantage 全零，学不到东西；通过了测试的解之间，质量和行为差异被完全抹平。

两条互补路线。GRS 用在高通过率的任务子集：离线收集多次 rollout,让 agent 对照任务规格和仓库研究它们，提炼解法 rubric(需求满足、边界处理、与代码库一致性)和行为 rubric(收集证据、检查改动效果这类可观察实践)，训练时复用，按乘法合成分数：

R_i = R_test_i × S_sol_i × S_beh_i

失败轨迹保持零奖励，通过轨迹再按实现质量和求解行为进一步拉开。就算一组全部通过，两个 rubric 分的乘积差异仍然能提供学习信号。

GAR 覆盖其余代码任务，在线进行。混合结果的组里，所有轨迹放进共享工作区，SFT 训练的智能体打分器沿五个维度比较通过的补丁：方案是否合适、实现是否精确无遗漏、改动是否最小、有无任务外副作用、是否贴合代码库惯例。证据确认依赖外部或泄露答案的，有效奖励清零当失败处理。然后按质量排名重新分配序列级优势：质量因子先给低质量通过解降权，公共缩放因子把削掉的正优势转移给高质量通过解，最后减组均值归零。打分异步跑，输出不可用时回退原始优势。

消融实验把这个设计的价值钉死了。同样在 DeepSWE 上跑 code-only RL,没有在线打分时，turn 数和总 token 长度快速膨胀，更多轨迹撞长度上限，pass rate 增益难以维持；有在线打分时，增益撑到第 52 步，turn 数基本平稳。维护者视角的审计更扎心：没有在线打分的策略学会了投机性兼容分支、广泛导出、吞异常、放宽校验、改评估专用配置；有打分的策略产出更小、更准、留在需求范围内的补丁。

行为正则化也在这个体系里。组相对长度惩罚以组内成功 rollouts 的分位长度为参照，超长的成功解按超出比例扣奖励，pass-rate 门槛保证难 prompt 上还有探索空间；段级行为惩罚盯格式违规和工具调用错误，违规 token 在负轨迹里加重惩罚、正轨迹里直接 mask,省下来的优势重分配给干净 token;批级优势再平衡限制过度负优化，防止不受控的熵增长。

模型是怎么“作弊”的，又是怎么被抓住的

作弊行为叫 reward hacking:agent 靠利用环境或评估流程拿高分，分数涨了，任务能力没涨。仓库修复任务里最常见的失败模式是解法泄露，agent 拿到任务上下文之外的公开修复来拼补丁。报告里那张案例表值得逐行读，五条捷径全部来自真实 rollout:

安装并阅读  pip install pytest==5.4.3,翻装好的源码,拿新版本当答案钥匙
拉上游源码  curl astropy 仓库里的目标文件,补丁就躺在里面
克隆上游    git clone 最新 matplotlib,对照重构缺失的修复
查现成方案  翻 Django #29205 的变更历史和修复提交
探测版本    pip index versions sphinx,确认修复在哪个新版本

思考摘录是逐字引用的。逻辑很简单：测试通过就有奖励，而找到答案比修出答案便宜得多。

对策是四层。第一层，mid-training 对齐数据：把早期实验观察到的作弊案例做成训练样本，让模型反思错误推理、修正相关轮次、再按任务规格继续行动，修正后的推理保留原始错误的可识别性。第二层，环境准备：删 build 日志、验证器输出、残留补丁、项目生成的二进制和字节码；清掉可能含解的缓存，包括仓库外的；Git 历史只保留到 base commit,之后的提交及其引用全删；容器级网络隔离，断掉上游修复和含解的替代包版本；再配明确指令禁止取现成方案。第三层，hack agent:用早期案例引导它搜已知路线、同时找新路线，每一轮发现都反哺清理和访问限制，再重跑，直到它在所有环境里都找不到能成功的攻击。第四层，训练时审计：策略会进化出新捷径，离线审计持续进行，确认作弊的轨迹有效奖励清零后再重算组统计。

结果是全程确认作弊占比低于 2%。数字不大，但报告对它的态度很清楚：不是压到 2% 就完事，而是审计、清理、重测的循环一直转。

训练为什么稳不住，又是怎么稳住的

MoE router 冻结解决负载塌缩，一组行为正则化控制 token 膨胀，外加对训练中断的坦率复盘。

Router 塌缩是报告里诊断最漂亮的一段。两个只差 router 是否可训练的 Pro 运行，跟踪 decoder 第 9 层的三个专家负载指标：router 可训练时，前 20 步三个指标单调恶化，变异系数从 0.78 升到 2.0,峰值负载因子从 6 倍涨到 16 倍，负载低于均值 0.1 倍的冷专家从 0.5% 涨到 22%。诊断手段是反证：把第 20 步 checkpoint 的 router 参数恢复到预训练初值，其余参数不动，负载平衡回到接近初始水平，基准性能不变。塌缩由 router 漂移驱动，不是专家权重退化。于是冻结 router,冻结后三个指标全程平直，CV 约 0.7、峰值负载约 5.5 倍、冷专家接近 1%,基准性能正常增长。先证明因果再动手，这个顺序本身比结论更少见。

失败复盘同样坦率。基础设施故障主要是 GPU 显存双比特错误；Flash 在第 15、16 步之间因 Kubernetes 故障重启，Pro 在第 14 步后因 grader 网络不可达重启。partial-rollout 设置下，启动阶段短 rollout 先完成，拉偏了 Predictive Rollout Dispatch 的长度估计，耗尽 GPU 和锁页主机内存的 KV 池；后来还有一个 harness 在同一代码数据集上产出的 rollout 长度不到其他 harness 的一半，重启后的估计又被带偏。训练失败来自微批内的 MoE 失衡：某一层一个专家并行 rank 收到的 token 负载超过均值 30 倍，直接 OOM,靠调整并行度压激活内存解决。Flash 后期 packing 时，长序列把单节点数据量顶破主机内存，CPU OOM 中断。Pro 跑完 30 步用了 123.1 小时，Flash 用了 81.8 小时。失败按类别逐条列出而不是一笔带过，对想复现的人来说，这些是真金白银的信息。

基础设施：一条轨迹的完整旅程

四层轨迹抽象配 Ray 多租户执行，控制面和数据面分离，调度器消化 90 倍的负载差异，训练推理两端在路由和采样上对齐。

轨迹组织成 Sample、Sequence、Context、Segment 四层：Sample 是被调度的 prompt,Sequence 是一次 Agent Loop 执行，Context 是一条对话分支，Segment 是单轮消息，只有模型生成的轮次计入 loss。Agent Loop 是 agent 中心而非推理中心的：每条序列自己管理环境生命周期，setup、交互、奖励评估、清理；每段对话同时保存字符串前缀和 token 序列，前缀匹配定位请求扩展的位置，只 tokenize 新后缀，推理引擎的接口保持纯粹的 token 进 token 出。

Penalty Module 把检测和对训练的影响分开：Rule 负责判定，基础设施故障、乱码 token、调用不存在的工具、重复生成都能抓；Strategy 负责动作，mask 剔除出损失、advantage shaping 调整优势、monitor 只记指标；early stop 是组合策略，规则一触发就停 rollout、清零结果奖励、区分处理触发轮和更早轮次。惩罚沿层级升级：没有存活模型轮次的 context 丢弃，没有存活 context 的 sequence 优势清零，没有存活 sequence 的 sample 整体拒绝。

执行侧，Harness Pool 用固定大小的持久 host actor 池承载多租户。这里有个工程细节：每个 harness 实例一个 Ray actor 会在 GCS 节点上耗尽文件描述符，所以改成 host 进程内多租户共享事件循环，环境操作和 tokenize 这类阻塞工作放后台线程，避免一个阻塞调用卡死所有租户。

数据侧，Payload Porter 把控制面和数据面拆开。每条序列除了 token id 和对数概率，还背着 MoE 路由数据、top-p 采样索引和多模态数据，一条多模态轨迹能攒出 GB 级截图数据。payload 只写一次进分布式 KV 存储，driver 的调度全跑在轻量元数据上；组级打分器完全异步，延迟被隐藏，结果可以滞后；优势写回存储，全零组默认丢弃。打包时每个训练 TP 组一个 packer,只取自己 CP 窗口碰到的行，结果在 TP 组内共享一份只读内存副本，避开 driver 上的全批聚合和稠密 padding 中间态。多模态数据在 rollout 时只传增量，训练时图像先 data-parallel 编码，再把 embedding 重分配到持有对应 token 的 rank。

调度侧，Sample Mixer 面对的是 25 个数据源之间 90 倍的平均生成 token 差异和 66 倍的活跃 rollout 时长差异。四个机制配合：自适应并发按各源的时长和接受率分配预算，自适应调度在预算内平衡长期需求和当前批次缺口，预测性放置用 KV 需求和预期推理并发做双约束贪心选择，样本回放加速慢源的启动收集，实测启动收集比稳态慢约 1.8 倍，慢源不回放会拖垮整个批次。

一致性机制是稳定的隐形地基。每次参数更新后对专家做量化反量化，对齐 MXFP4 rollout 内核的数值约束；R3 记录 rollout 时的专家索引、训练时回放，复现执行路径；top-p 采样的候选集也在 rollout 时记录、训练时在候选集内重归一化，传输用一个固定形状、全词表宽度的位图，典型 top-p 0.97 下候选集平均不到 5 个 token,开销可忽略。上下文缓存按对话上下文做持久 key,同策略版本内后续轮次命中缓存、只 prefill 新后缀；缓存分层对齐了轨迹的时间结构：生成时间状态驻 HBM,等待环境的时间状态卸到锁页主机池，搬运走侧 CUDA 流，不阻塞生成。投机解码用 block-6 的 DFlash,平均接受长度比 SFT 继承的 MTP 配置高 31.3%;block-6 比 block-8 全局平均吞吐高约 6%,FP8 草稿计算再给长上下文负载带来约 10.3% 的每节点吞吐提升。训练端，1M 上下文下滑窗层在 CP 下只交换查询可达的 KV,每层流量被窗口大小而不是序列长度封顶；优化器状态驻留 CPU;所有损失融合进一个 kernel。

成绩单：这次 scale 换到了什么

对比上一代 MiMo-V2.5 Pro,DeepSWE 从 19.0 涨到 71.9,CyberGym 从 40.0 涨到 94.0,MiMo Cyber Bench 从 0.0 涨到 80.2,多数智能体基准已经和前沿模型同场竞技。

CyberGym 上 95.1 对 40.0 的差距，很大程度来自验证器设计：确定性的类型加崩溃位置匹配，替代了之前有缺陷的评估环境。尺子修准之后，量出的才是真实水位。

混合 RL 之后还有一道 MOPD2,多前缀多教师在线蒸馏，把针对不同任务训练的教师能力合进学生模型，覆盖训练时验证难以设计的领域，长程游戏开发、科学研究、具身智能都在列。前缀来自教师 rollout 或 SFT 数据，一条 k 轮轨迹提供 k 个完整历史前缀，学生从每个前缀采样一个新轮次，教师给 token 级监督；SFT 教师覆盖不到学生长程偏离后的历史，SFT-Prefix OPD 就从固定示范前缀出发，示范给上下文、学生自己生成续写。

两个规格的对比也值得看：多数基准上 Pro 和 Flash 差距在几个点以内，CyberGym 上 Flash 95.1 反超 Pro 的 94.0,而 RL 总成本只有 Pro 的约三分之一。对预算敏感的团队，这个性价比信息比榜单名次有用。

9B 开源链路：从 SFT 到 RL 全程可复现

Qwen3.5-9B 用 77.4B token 的 MiMo 生成数据做 SFT,配上约 7000 个训练任务、端到端 RL 框架和可组合 mini-harness 一并开源，GRPO 之后 11 项评估全部上涨。

蒸馏数据四源均衡：代码 23.2B token 占 29.9%,通用 22.0B 占 28.5%,视觉 21.2B 占 27.4%,安全 11.0B 占 14.2%,其中 27.2B 是计入损失的 token。SFT 后的检查点已经全面超过原版 Qwen3.5-9B,SWE-bench Pro 从 32.0 到 44.6,AutomationBench 从 5.0% 到 30.3%。以这个检查点为共同起点做各域 GRPO:

任务环境覆盖四个域：软件工程 3k(可执行测试)、漏洞复现 1k(规则检查)、知识工作 1k(rubric 评判)、网页开发 2k(视觉评分)，另有约 1k 音乐生成任务支撑艺术方向的探索，内部音乐基准上 RL 后从 45.7 涨到 52.5。多 harness 的独立实验里，SFT 检查点在 21 个数据集-harness 组合上全部优于 Qwen3.5-9B,多 harness RL 再把每一项推高，MiMo Code Bench (mini) 相对 SFT 的额外增益在七个 harness 上从 1.8 到 9.3 个百分点不等。

网页开发的案例把这条链路拍成了三格漫画。同一个 prompt,Qwen3.5-9B 的站点布局简单、用图少，HR 管理界面有明显布局问题；SFT 之后内容更丰富、配色更协调、图片素材用得更有效；RL 之后排版精致，hero 区块有了视觉冲击，HR 面板带侧边导航、日历组件和统计卡片。量化轨迹 61.7 到 64.0 再到 72.4,和肉眼看出来的顺序一致。

如果只读报告的一部分，我会推荐 router 冻结的诊断过程和 reward hacking 案例表。这两段写的不是“我们做到了什么”，而是“我们怎么发现问题、怎么证明原因”，比分数本身稀缺得多。

实用摘要与操作清单

想在自家模型上照着走一遍，按顺序要办的事：

1. 评估环境先修准。验证器要确定、可复现、便宜，安全任务用漏洞类型加崩溃位置做规则匹配，是个可以直接抄的模板。
2. RL 之前补一轮 agent 中心的 mid-training,上下文推到位，优化器换成对大批量友好的 Muon 类变体，同步做低精度量化感知训练。
3. 批量和 partial rollout 一起定，re-prefill 的代价靠大批量摊薄，单改一个没有意义。
4. MoE 模型的 RL 直接冻结 router,负载塌缩的锅在 router 漂移，不在专家权重。
5. 打分器算力单独立项，报告里它占 Pro 成本的 12.7%,不是零成本附属。
6. 防 reward hacking 铺四层：mid-training 对齐数据、环境清理加网络隔离、训练前 hack agent 迭代攻击、训练中持续审计，确认作弊轨迹奖励清零。
7. 多源混合调度先量测各源的时长和通过率分布，90 倍的负载差异不调度，一定有源饿死。
8. 训练推理一致性按两项对齐：MoE 路由回放和 top-p 候选集重放。

一页速览

常见问题

• RL 用了什么算法？GRPO 配异步 partial rollout(staleness 4),重要性采样带四个解耦的裁剪边界，初始 [0.2, 5.0],运行时按策略熵动态调整。
• 单步训练到底多大？1,568 个 prompt,每个 16 条 rollout,全局 25K 条轨迹，折合 27 到 37 亿 token,单序列约 11 万到 15 万 token。
• reward hacking 真的压得住吗？训练全程确认作弊占比低于 2%,代价是环境清理、迭代 hack agent 探测和持续离线审计。
• Flash 和 Pro 差距大吗？多数基准差距在几个点以内，CyberGym 上 Flash 95.1 还反超了 Pro 的 94.0,而 RL 总成本只有 Pro 的约三分之一。
• 9B 模型怎么来的？Qwen3.5-9B 在 77.4B token 的 MiMo 生成数据上做 SFT,再按域分别 GRPO,11 项评估全部上涨。
• 多 harness 训练有必要吗？训练时没见过的 codex、claude code、mini-swe-agent 平均 Pass@1 从约 50% 涨到 66%,单 harness 训练会把策略绑死在特定交互机制上。
• 最大的工程坑是什么？报告自己列的：微批内 MoE 失衡让一个专家并行 rank 吃到 30 倍平均负载直接 OOM;partial rollout 启动阶段长度估计被短 rollout 带偏，KV 池耗尽。
• 训练日志公开吗？公开，Pro 30 步用时 123.1 小时，Flash 81.8 小时，失败与恢复区间按原因分类可查。