引言：它真的在"思考"吗？
AI 的"深度思考"并非意识层面的"思考"，而是一组工程手段的集合：在输出答案之前，令模型消耗更多计算资源、生成更多推理步骤，以提升复杂任务的准确率。
下面从几个层面拆解。
一、从"直觉"到"逻辑"
认知心理学中，卡尼曼将人类思维划分为两种模式：
- System 1（快思考）：直觉式、自动化。例如看到"1+1"即刻得出 2。
- System 2（慢思考）：逻辑式、审慎。例如解联立方程组，需要逐步推导。
早期的大语言模型本质上只具备 System 1 能力：读取问题后直接预测下一个词，不存在显式的推理过程。深度思考的核心，即强制模型切换到 System 2 模式——在输出答案之前，先生成一段推理过程。
二、Token：推理的最小生成单元
前面完成的是定义与演进脉络的梳理，下面进入更底层的机制层，拆解推理过程的具体生成方式。
大模型的最小思考单位是 Token（词元），一个中文词或一个英文单词通常对应一个 Token。深度思考的本质，即在输出最终答案之前，先生成大量"中间 Token"作为推理痕迹。
以鸡兔同笼问题为例：35 个头、94 只脚，鸡兔各几只。
- 不深度思考：模型依据训练数据中的统计规律直接预测下一个词，例如直接输出"鸡23只，兔12只"。该结果来自概率分布，而非推导。
- 深度思考：模型先生成一系列中间 Token：
“假设全是鸡，那么脚应该是35×2=70只，但实际有94只，多了24只脚。每把一只鸡换成兔就多2只脚，所以需要换24÷2=12只兔……”
这些中间 Token 并非冗余输出，其作用有三：
- 外部记忆：相当于可回读的草稿区，用于追踪推理状态，避免推理中途丢失前提
- 因果约束：每一步的输出构成下一步的输入上下文，强制推理按顺序推进
- 错误暴露：推理过程显式展开后，模型（或外部验证器）有机会发现矛盾并修正
三、思维链（CoT）：推理过程的显式化
3.1 思维链（CoT）的诞生
2022 年，Google 的研究者发现：仅在 Prompt 末尾追加一句 “Let’s think step by step”（让我们一步步思考），模型在数学推理任务上的准确率即出现显著提升。
原理如下：该指令使模型不再直接作答，而是先输出推理过程；已生成的推理文本会作为后续 token 的上下文，使推理过程不易偏离。
3.2 Few-shot CoT：以示例规定推理格式
Few-shot CoT：在 Prompt 中给出若干条带完整推理过程的示例题，模型会按其格式模仿输出。
四、模型内部：注意力机制与分层结构
4.1 注意力机制：关键信息的加权提取
Transformer 架构的核心是自注意力机制（Self-Attention），公式简化为：
各符号含义：
- Q（Query）：模型当前要查询的信息
- K（Key）：上下文中每个 Token 可提供的信息
- V（Value）：每个 Token 的实际信息内容
注意力机制计算 Q 与 K 的匹配度，决定从哪些 Token 中提取多少信息。在深度思考中，其作用表现为：
- 当模型推理到"多了24只脚"时，注意力会自动聚焦到前文的"94只脚"和"70只脚"这两个关键数字上
- 当模型需要验证时，注意力会回溯到最初的题目条件，检查是否一致
4.2 动态注意力机制
更先进的模型引入了动态注意力机制：根据问题复杂度自适应调整注意力范围与计算深度，简单问题少算几步，复杂问题多算几步。
4.3 分层结构
现代大模型由数十层 Transformer 组成，各层承担不同层次的处理：
- 前几层：识别语法（词性、句式）
- 中间层：理解语义（上下文、指代关系）
- 后几层：生成推理（逻辑推导、得出结论）
层数越多，模型可达到的推理深度越大——这也是 GPT-4 成本显著高于 GPT-3.5 的原因之一。
五、强化学习：推理能力的训练路径
5.1 基本循环
推理模型的训练核心是强化学习：
- 模型自由生成推理过程与答案
- 以奖励函数对输出评分（答案是否正确、推理过程是否合理）
- 高奖励路径被强化，低奖励路径被抑制
5.2 以 DeepSeek-R1 为例：训练流程四步走
这是深度思考能力最核心的训练方法。以 DeepSeek-R1 的训练流程为例，其采用的是纯强化学习路径：
- 冷启动SFT：先用少量高质量推理数据做监督微调，让模型"见过"推理过程长什么样
- 面向推理的RL：用GRPO算法，让模型自由推理，只对最终答案的正确性给予奖励
- 合成数据SFT：把RL阶段产生的好推理过程收集起来，再做一轮监督微调
- 偏好对齐RL：让模型学会输出人类可读、格式规范的推理过程
5.3 关键创新：过程奖励模型（PRM）
更进一步，引入过程奖励模型（PRM）：不只看最终答案，还对推理过程的每一步打分，使模型学会"每一步都推理正确"，而不是"最终凑出正确答案"。
仅奖励最终答案的方法（ORM）存在漏洞：模型可能"蒙对答案但推理全错"。PRM 对推理链中的每一步单独打分：
例如解方程时，第一步"移项"正确 +1 分，第二步"合并同类项"错误 −1 分，模型即可定位出错的步骤。
在监督粒度上，这相当于批改作业时不仅核对最终答案，还逐步检查推导过程。
六、推理结构的升级：从线性到树/图
随着技术发展，推理方式不断进化。思维链（CoT）是线性结构，中间某一步出错，后续推理即建立在错误前提上。更高级的推理架构针对这一限制：
6.1 自洽性采样（Self-Consistency）
Self-Consistency（自洽性采样）：让模型以不同路径独立推导多次，取多数答案作为最终结果，类似"用两种方法验算"。具体做法是让模型从不同角度独立推理 K 次，投票选出出现次数最多的答案。其核心假设是：若多条独立路径收敛到同一结论，该结论大概率正确。
实测数据：在 MATH 数学基准上，单次推理准确率 54%，采样 K=20 次提升到 72%。
6.2 思维树（Tree of Thoughts, ToT）
Tree of Thoughts（思维树）：把推理建模为树结构，每一步生成多个候选方向，走不通可回溯。
- 每个节点是一个"思维状态"（当前的推理进展）
- 每条边是一个"推理动作"（尝试某个方向）
- 模型可同时探索多个分支，走不通则回溯
在 24 点游戏测试中，GPT-4 直接使用 CoT 的准确率为 4%，使用 ToT 后提升到 74%。
6.3 思维图（Graph of Thoughts, GoT）
进一步把推理建模为图结构，支持：
- 多个推理路径汇聚（不同思路得出相同结论时互相印证）
- 非线性的信息流动（后面的结论可以反过来修正前面的假设）
- 全局一致性约束（确保整个推理网络没有矛盾）
七、自我修正：推理链的检查与回退
自我纠错：模型对自身推理过程进行反思，标记错误状态并重新展开推理。这是深度思考中最接近"反思"能力的机制。典型流程为 生成 → 评估 → 改进 → 重复：
7.1 Reflexion 框架
- 模型先生成一个初步答案
- 获取反馈（可以是外部验证器、也可以是模型自己生成的"批评"）
- 根据反馈修正答案
- 重复直到满意或达到迭代上限
在代码生成任务 HumanEval 上，Reflexion 能提升 24% 的准确率。
7.2 关键发现：反馈源的质量决定上限
按可靠性排序：
- 外部工具验证（编译器、计算器）——结果客观，最可靠
- 过程奖励模型（PRM）——经过专门训练，较可靠
- 模型自我批评——有一定效果，但存在无法可靠识别自身错误的风险
八、神经符号融合：统计学习与符号逻辑
纯神经网络擅长模式识别，但不擅长严谨逻辑；纯符号系统擅长逻辑推理，但无法处理模糊信息。深度思考的前沿方向是把两者结合：
8.1 可微分逻辑层
传统逻辑运算（与、或、非）是离散的，无法参与神经网络的梯度反向传播。研究者通过松弛布尔运算（用 Sigmoid 函数近似与/或门），使逻辑规则也能参与端到端训练：
# 近似与运算: x ∧ y ≈ σ(x + y - 1.5)and_op = sigmoid(x + y - 1.5)# 近似或运算: x ∨ y ≈ σ(x + y - 0.5)or_op = sigmoid(x + y - 0.5)如此，模型既能从数据中学习统计规律，又受逻辑规则约束。
8.2 知识图谱增强推理
推理过程中，模型可实时查询知识图谱以验证事实：
比如推理"某药物A和药物B能否同时服用"时，模型不只是靠训练记忆，还会去知识图谱中查询两者是否存在已知的相互作用关系。
九、测试时计算扩展：以算力换精度
9.1 核心思想：以长度换深度
深度思考的本质是一种**“以长度换深度”**的策略：在推理阶段投入更多计算资源，通过生成更长的推理文本提升准确率。
这与 AlphaGo 使用蒙特卡洛树搜索（MCTS）进行深度推演的理念一致：不依赖"直觉"落子，而是把未来很多步都展开计算。
这也是深度思考最根本的工程哲学：在推理阶段动态投入更多计算资源，而不是把所有能力压缩进模型参数。
- 传统模型：无论问题难易，每次推理消耗的计算量基本固定。
- 深度思考模型：根据问题复杂度动态调整计算量——简单问题几毫秒返回，复杂问题可持续推理数分钟。
9.2 实现方式
- 增加推理 Token 数量：生成更多中间推理步骤
- 多次采样投票：同一问题推理多次，取共识
- 树搜索/图搜索：探索多条推理路径
- 动态路由：简单问题走"快思考"通道，复杂问题走"慢思考"通道
9.3 代价
深度思考不是免费的。根据 2025 年 10 月的行业数据，推理时间可能延长 3–5 倍，算力消耗增加约 2.8 倍。所以实际产品中通常让用户手动选择是否开启深度思考模式。
十、按需思考：从过度思考到 AutoThink
深度思考也带来一个问题——过度思考。例如询问"2+3等于几"，模型从自然数定义讲起，列出加法交换律，反复试错后才输出 5。
中科院自动化所提出的 AutoThink 策略，通过多阶段强化学习，让模型根据问题难度自主切换思考模式：简单问题直截了当，复杂问题深度推理，即"按需思考"，同时减少约 40% 的推理 Token 消耗。
十一、机制串联：完整推理链路
把以上机制串起来，一个深度思考模型的完整推理过程如下：
用户提问 ↓【语义解析】Token化 + Embedding + 位置编码 ↓【注意力计算】Q/K/V加权，聚焦关键信息 ↓【推理规划】判断问题难度，动态分配计算资源 ↓【多步推理】生成中间Token构建思维链 ├── 可能分支探索（ToT/GoT） ├── 可能多次采样（Self-Consistency） └── 可能调用外部工具/知识图谱验证 ↓【自我修正】评估推理过程，发现错误则回溯修正 ↓【输出答案】生成最终回复AI 的深度思考 = 思维链技术 + 强化学习训练 + 测试时多步推理
本质上，它可以拆解为：用更多 Token 作为中间计算步骤 + 用强化学习学会正确推理 + 用结构化搜索避免走死路 + 用自我修正检查错误 + 用神经符号融合保证逻辑严谨。
它并非意识层面的"思考"，而是对 System 2 慢思考过程的功能性模拟：把复杂问题拆解为多个步骤，逐步推导、自我验证、必要时回溯修正，最终给出更可靠的答案。其工程本质是用计算换质量；它没有意识，但通过工程手段取得了与"慢思考"相近的效果。