大语言模型的黑箱里藏着什么？自下而上的优化新视角

你是否曾好奇，像ChatGPT、DeepSeek这样的大语言模型，在生成每一个答案时，内部究竟发生了什么？我们通常把它看作一个整体，输入问题，输出答案。但最近一项来自arXiv的研究《你的语言模型策略秘密包含内部策略》揭示了一个颠覆性的发现：大语言模型并非一个单一的策略，其内部每一层、每一个模块，都在执行着各自独特的“子策略”，共同协作完成推理。

这项研究不仅像一台“脑部CT机”，首次清晰透视了模型内部的推理演化过程，还基于此发现提出了一种全新的强化学习范式——自下而上策略优化。这种方法通过优化模型“底层思维”，显著提升了复杂推理任务的性能。

本文将为你深入浅出地解读这项研究，带你了解大语言模型的“思维”是如何一层层构建的，以及为什么从“地基”开始优化，能带来更好的效果。

一、引言：我们一直把大模型想得太简单了

强化学习是推动大语言模型（LLM）复杂推理能力的关键技术。从OpenAI的早期工作到DeepSeek R1的成功，基于可验证奖励的强化学习已成为提升模型策略的强大后训练范式。

然而，迄今为止，绝大多数研究都只将大语言模型视为一个统一的、整体的策略。这就像我们只关注一个人的最终决策，却完全忽视了他大脑中不同区域是如何分工协作、逐步形成这个想法的。研究者们主要聚焦于算法设计，比如如何设计更好的奖励函数、如何进行熵正则化等“表面功夫”。

虽然可解释性工具（比如注意力可视化）帮助我们缓解了模型的“黑箱”问题，但它们往往忽略了语言模型策略的本质，以及模型内部残差流中潜藏的信息。

这项研究的起点，正是试图回答一个更根本的问题：语言模型的“策略”是如何在不同网络层和模块中演化的？ 理解这一点，对于实现更有针对性的优化、揭示复杂的推理机制至关重要。

二、核心发现：大模型内部存在“分层策略”

研究团队的核心洞察基于Transformer架构的两个固有特性，这让他们得以像分解光线一样，分解模型的策略。

1. 理论基础：残差流与可采样策略

首先，Transformer中的残差连接结构，天然支持一种加法分解。每一层的输出都是前一层的输入加上本层计算的变化量。这意味着，最终输出的隐藏状态，可以看作是初始嵌入与所有中间层（自注意力和前馈网络）贡献的累加。

其次，研究者们指出一个关键等价关系：任何隐藏状态，只要与模型的“解嵌入矩阵”结合，就能转化为词汇表上的概率分布。这个分布本身就是一个可以被采样、可以被优化的“策略”。

基于这两点，他们定义了两类“内部策略”：

• 内部层策略：将每一层结束后的隐藏状态转化为概率分布。这捕获了截至该层的累积推理结果。
• 内部模块策略：分别将每一层的自注意力模块和前馈网络模块的输出转化为概率分布。这隔离了这两个核心组件的具体贡献。

2. 熵：衡量内部策略的“不确定性”

为了分析这些内部策略的行为，研究者采用了“熵”这一指标。在信息论和强化学习中，熵衡量了一个概率分布的混乱或不确定程度。高熵意味着策略在广泛“探索”各种可能的选择；低熵则意味着策略高度确定，集中在少数选项上“利用”已有知识。

通过计算每一层、每一模块的内部策略熵，一幅关于模型“思考过程”的精细图谱被绘制出来。

三、惊人的差异：Qwen的“渐进式思维” vs Llama的“最后一刻决策”

研究者系统地分析了常用的Qwen和Llama系列模型，发现了普遍规律下的关键架构差异。

1. 普遍规律：从探索到收敛

所有模型都展示了一个一致的内部推理结构：

• 早期层（底层）：保持高熵，像大脑刚开始思考问题时一样，广泛探索解决方案的空间，保留多种可能性。
• 顶层（高层）：熵收敛到接近于零，意味着模型已经做出了最终预测，高度确定。

2. 关键差异：收敛的模式大相径庭

尽管趋势相同，但收敛的节奏和方式在不同模型系列间差异显著。这是研究中最引人注目的发现之一。

• Llama系列：表现出一种“突然收敛”的模式。在绝大部分中间层，模型的预测空间都保持相对较大的不确定性，直到最后两三层，熵值才急剧下降，迅速锁定答案。这暗示Llama的推理过程在晚期才完成关键的决策整合。

• Qwen系列（尤其是Qwen3）：展现出一种“渐进式收缩”的模式，其推理过程更具阶段性，更像人类的认知过程。

  • 更惊人的是，这种阶段性在前馈网络模块中表现得尤为清晰。研究引入了“熵变化”指标，来衡量经过一个模块后不确定性的增减。
  • 在Qwen3中，FFN模块的熵变化呈现清晰的**“探索-整合-收敛”三阶段**：

    1. 探索：在较低层（如前6层），熵变化为正，FFN积极扩展探索空间。
    2. 整合：在广泛的中间层（如7-26层），熵变化接近零，FFN主要是在检索和整合存储在其中的参数化知识（FFN被广泛视为模型的“知识存储器”），而非大幅改变方向。
    3. 收敛：在较高层（如27层以上），熵变化为负，FFN开始逐步压缩可能性，向最终答案收敛。

图1：Qwen3在前馈网络模块中展现出清晰的“探索-整合-收敛”三阶段推理模式。

简单来说，你可以想象：

• Llama 像一个在考试结束铃响前最后一刻才匆忙写下答案的学生，前面大部分时间都在酝酿。
• Qwen3 则像一个有条理的解题者，先列出所有可能思路（探索），然后调用已知公式和知识进行推导（整合），最后逐步收窄得到唯一解（收敛）。

这种结构化、渐进式的推理模式，可能是Qwen3系列模型在后续训练中表现出强大知识吸收能力的内在原因之一。

四、从洞察到方法：自下而上策略优化

上述发现带来了一个深刻的启示：既然推理是自下而上、渐进涌现的，那么优化是否也可以采用自下而上的视角？

1. 实验验证：优化内部策略会发生什么？

为了验证这个想法，研究者先做了一个实验：直接对某个中间层的内部策略进行强化学习优化（他们称之为InterGRPO），而不是优化最终输出策略。

结果既在意料之外，又在情理之中：

• 如果只优化内部策略，模型最终会崩溃，因为这和整体目标不一致。
• 但优化过程引发了显著的特征精炼现象。当优化一个较低层（如第6层）的策略时，该层的隐藏状态表示会变得与更高层、甚至最终层的表示更加相似。

这意味着什么？ 这意味着，通过底层对齐，优化迫使网络的较低层提前捕捉到了高层推理所需的信息，为后续的“思考”打下了更坚实的基础。这就像在打地基时，就预先考虑了上层建筑的结构需求。

2. 提出BuPO：分两步走的优化新范式

基于这一关键洞察，研究者正式提出了 自下而上策略优化。

BuPO的核心理念非常简单：分两步走，先“塑基”，再“筑顶”。

1. 第一阶段：内部策略对齐。在训练初期（如前30步），选择一个处于“探索”阶段的较低层（如Qwen3的第6层），优化其内部层策略 π_layer^6。这个阶段的目标是重建和加固模型的基础推理能力。
2. 第二阶段：整体策略优化。在后续训练中，切换回传统的优化方式，对整个语言模型的最终输出策略 π_θ 进行优化。此时，模型已经有了一个被强化过的、更具表达力的“底层思维”，高层推理便能在此基础上更高效地进行。

图2：自下而上策略优化训练流程示意图。

五、效果如何？实验数据说话

理论很吸引人，但实际效果才是试金石。研究者在MATH、AMC、AIME等多个高难度数学推理基准上测试了BuPO。

对比方法：包括标准的PPO、Reinforce++、RLOO以及当前表现强劲的GRPO。

结果：BuPO在几乎所有模型和数据集上都取得了一致的性能提升。

模型	方法	AMC23 (Avg@16)	MATH500 (Avg@16)	AIME24 (Avg@32)	AIME25 (Avg@32)	平均
Qwen3-4B	GRPO (基线)	76.88	82.41	32.19	28.85	55.08
	BuPO (优化第6层)	81.09 (+4.21)	84.90 (+2.49)	36.88 (+4.69)	31.15 (+2.30)	58.51 (+3.43)
Qwen3-8B	GRPO (基线)	85.94	88.05	49.48	33.54	64.23
	BuPO (优化第6层)	89.22 (+3.28)	87.76	54.06 (+4.58)	34.38 (+0.84)	66.36 (+2.13)
Llama-OctoThinker-8B	GRPO (基线)	34.84	56.89	2.50	2.19	24.11
	BuPO (优化第31层)	37.66 (+2.82)	62.05 (+5.16)	4.69 (+2.19)	6.77 (+4.58)	27.79 (+3.68)

表1：BuPO在不同模型和数学推理基准上的性能表现（Avg@K，分数越高越好）。

从上表可以清晰看到，无论是Qwen还是Llama系列，采用自下而上的优化策略后，模型在复杂推理任务上的表现均有显著提升。特别是在更困难的AIME竞赛题上，提升幅度尤为明显。

六、深度分析：为什么BuPO有效？

1. 训练动态：更健康的探索

分析训练过程发现，在BuPO的第一阶段（优化内部层），模型整体策略的熵会保持更稳定、更健康的探索水平。这避免了传统RL训练中策略熵过快崩溃至零（导致模式崩溃、缺乏多样性）的问题。适度的底层探索为后续学习提供了更丰富的“思维素材”。

2. 关键原则：适度的“塑基”

研究发现，早期内部策略优化的步数需要精心控制。就像揉面，时间太短没效果，时间太长就揉过了。

• 适度优化（如前30步）：能有效提升最终性能。
• 过度优化（如70步）：会导致模型崩溃，性能急剧下降。
  这印证了BuPO的核心是“重建基础”，而非“取代整体”，适度的干预才能最大化收益。

七、常见问题解答

Q1: 这项研究的主要贡献是什么？
A1: 主要有三点：1) 首次形式化地定义并分解了语言模型的内部策略；2) 通过熵分析揭示了不同模型系列（如Qwen和Llama）独特而稳定的内部推理模式；3) 基于这些发现提出了创新的自下而上策略优化范式，能有效提升模型性能。

Q2: “内部策略”和之前说的“Logit Lens”有什么区别？
A2: 两者有关联但视角不同。Logit Lens主要将中间层状态解码为最可能的离散词汇，用于观察“模型在中间层想输出什么词”。而内部策略视角则将其视为一个完整的、可采样的概率分布，并像强化学习中的策略一样分析其熵和动态变化，更侧重于理解“决策过程的不确定性如何演变”。

Q3: 这个发现对普通用户或开发者有什么实际意义？
A3: 首先，它加深了我们对大模型工作原理的理解。其次，BuPO作为一种新的优化方法，为微调大模型（尤其是在数学、代码等复杂推理任务上）提供了更有效的工具。未来，模型设计者或许可以借鉴Qwen的渐进式结构来设计更高效的架构。

Q4: 所有模型都适合用BuPO吗？如何选择优化哪一层？
A4: 研究显示，具有清晰渐进式推理结构的模型（如Qwen3）收益最明显。选择哪一层有迹可循：通常选择那个处于探索阶段、熵变化为正的最后一层（对于Qwen3是第6层）。这需要先对目标模型进行一次简单的内部熵分析来确定。

Q5: 这项研究的局限性是什么？
A5: 目前实验主要集中在Qwen和Llama系列，其他架构（如GPT、Gemini）的内部模式有待验证。此外，最优的内部层和训练步数可能因模型和任务而异，需要一定的实验来确定。

八、结论与展望

这项研究像一次对大型语言模型的“神经科学”探索。它告诉我们，大模型的“思考”并非混沌一团，而是在不同网络层中遵循着特定的、可解读的模式。Qwen3展现出的渐进式、结构化的推理模式，与人类解题的认知过程有异曲同工之妙，这或许是其在复杂任务上表现优异的内在原因。

更重要的是，研究没有止步于发现。自下而上策略优化 的提出，成功地将对内部机制的理解转化为了切实可行的算法改进，实现了“知其然，更知其所以然，并用以做得更好”的完整闭环。

未来，我们可以期待更多基于模型内部机制理解的创新：

• 更智能的架构设计：直接设计出具有理想内部推理模式的模型。
• 更精细的优化手段：针对不同层、不同模块的特性进行定制化训练。
• 更通用的可解释性框架：内部策略视角可能成为理解模型行为的新标准工具。

大语言模型的黑箱正在被逐渐打开，而照亮其中奥秘的，正是这种将深刻分析与实用创新相结合的研究路径。这不仅关乎技术的前沿，也关乎我们如何与日益智能的AI系统更有效、更透明地协作。