Click HERE to read the original article in English.
“理性的人使自己适应世界；不理性的人坚持要让世界适应自己。因此，所有进步都依赖于不理性的人。” — *乔治·伯纳德·肖*
引言：思维AI模型的时代
在不断发展的人工智能（AI）世界中，打造能够模仿人类思维的机器始终处于最前沿。近日，来自复旦大学和上海AI实验室的开创性研究论文揭开了“草莓”模型家族的神秘面纱，尤其是聚焦于神秘的OpenAI O1（O1）和先进的O3模型。这些模型因其能够执行类人推理的复杂任务而备受称赞，标志着实现人工通用智能（AGI）的重要一步。
这些模型的关键在于其革命性地应用了测试时间计算，这一概念使其在数学、科学和逻辑领域的能力达到了新的高度。增强学习和可扩展推理计算的结合导致了前所未有的性能提升，将其推理能力提升到了博士水平及以上。这篇论文不仅揭示了这些思维模型的复杂性，还邀请我们探索一个新范式的AI发展，该范式以推理时间计算为特征。
O1和O3模型的崛起
OpenAI朝着创建AGI的目标进行了五阶段的路线图规划，在这个过程中，O1代表了向具有人类水平问题解决能力的**“二级推理者”**的重要飞跃。这些模型标志着从传统AI框架向运用推理行为系统的转变，例如当面临挑战时提出澄清问题、反省错误以及探索替代解决方案。
AI计算的范式转变
O1和O3的一个核心创新是其在推理时间内“思考”的能力。不同于传统的语言模型立即对提示做出反应，这些模型在信息的处理中投入更多的思考，充分利用更多的tokens和计算资源来提高输出质量。这一新的思维维度使得这些模型能够在从编程到科学研究的一系列复杂学科中表现出色。
揭开测试时间计算的神秘面纱
“测试时间计算”本质上通过在推理过程中增强其认知任务来改造AI模型。这一强大的工具使O1和O3模型能够应用更复杂的思维过程，从而在数学和逻辑等领域中展现出提升的性能。论文阐述了四个关键元素，这些元素使这些模型能够实现如此高水平的洞察力：策略初始化、奖励设计、搜索和学习。
策略初始化：奠定认知框架
策略初始化是建立AI模型思维能力的基础步骤。此阶段包括：
- 预训练于大量数据集以编码基础知识。
- 通过问答对进行指令微调以培养类人推理。
- 激活推理行为如目标澄清和任务分解。
此阶段有点类似于为演员设置舞台：确保在演出前具备必要的技能和背景。
“有效的策略初始化对于实现解决方案空间的深度和复杂探索至关重要。” – 研究见解
奖励设计：引导AI经历成功与失败
奖励设计决定了模型如何评估其表现并从结果中学习。O1模型采用两种主要的奖励机制：
- 最终结果奖励最小化（ORM）：判断最终解决方案的正确性。
- 过程奖励最小化（PRM）：评估推理过程的每一步的准确性。
通过结合这些奖励，模型能够迭代并改进其问题解决过程。
搜索：AI思维过程的核心
搜索是使模型在推理过程中能够提出、探索和调整可能解决方案的动态能力：
- 训练时间搜索：利用树搜索技术来扩大探索范围。
- 测试时间搜索：通过顺序修订领导提升，由于从先前尝试中学习而改善输出。
能够在推理过程中进行搜索大大增强了模型在多种场景和解决方案中生成可靠和高质量解决方案的能力。
学习：通过强化实现持续进步
增强学习是指这些AI模型通过与环境互动，通过成功和错误学习自身能力的过程，而不需要持续的人为干预：
- 自我反思：允许模型在运行时评估和调整响应。
- 通过增强成功结果序列来加强试错学习，进而推动向超级人类性能的潜力发展。
展望未来：朝着AGI及更远的目标前进
通往AGI的道路，正如OpenAI所描述的，跨越五个不同的阶段——最终实现能够实现自我改进和创新的AI。O1和O3展示的进步显示了一种即将到来的重大转变，朝着“三级智能体”，即能够自主在现实世界场景中行动和适应的智能系统迈进。
未来挑战和方向：
- 多模态整合：结合多样化的数据形式以创建灵活、可适应的模型。
- 领域适应性：将推理模型扩展到处理缺乏预定义解决方案的新颖、不明确的问题。
- 世界模型开发：创建全面的AI世界模型来预测和模拟复杂的现实世界动态。
结论：释放AI的全部潜力
这篇论文揭示的内容标志着AI研究的一个重大时刻，展示了如何通过测试时间计算和战略模型设计将AI提升到前所未有的高度。随着我们逐渐接近真正的AGI，OpenAI“草莓”模型的基础创新为一个机器不仅能协助，还能与人类一起创新的世界铺平了道路。
随着学术界越来越多地发布这些先进模型的开源实现，我们正站在AI文艺复兴的边缘，承诺转型的社会和技术影响。随着我们继续这一旅程，从这项研究中获得的见解如灯塔般为我们引领着走向一个光明的、智能的未来，在这个未来里AI和人类共同繁荣。
自然语言处理, AGI, YOUTUBE, AI RESEARCH, TEST TIME COMPUTE, INFERENCE, O1 MODEL人工智能, ARTIFICIAL INTELLIGENCE, AI MODELS, 科技前沿, OPENAI, 计算机科学, 机器学习, AI模型, 自动化, 增强学习, FUDAN UNIVERSITY, REASONING
