近日，科技媒体The Decoder发布了一篇博文，引发了广泛关注。文中援引OpenAI高级模型开发负责人Jakub Pachocki的观点，他表示人工智能推理模型正在展现出一种令人惊叹的潜力——能够自主生成知识。
Pachocki认为，这种推理能力并非简单地模仿人类思维，而是一个基于数据和算法的独特过程。他详细解释了AI的学习机制：第一阶段是无监督预训练，模型通过摄入海量数据，构建了一个类似于”世界模型”的无意识结构，这个结构帮助模型理解现实世界的运行规律。
第二阶段则是通过强化学习与人类反馈（RLHF）来优化基础模型。Pachocki特别强调，在最新的推理模型中，这一阶段显得尤为重要。他指出，虽然传统强化学习适用于处理有明确对错的任务，但RLHF在解决复杂问题时更具优势，尽管其扩展性存在一定限制。
在谈到预训练与强化学习的关系时，Pachocki提出了一个值得深思的观点：他认为这两者不应被割裂为独立的阶段，因为推理模型的”思考”本质来源于预训练数据。他主张这两种方法应该实现更深层次的融合。
最近发表的一篇论文引起了广泛讨论，该研究发现推理训练并没有赋予模型新的能力，而是提升了它们应用现有知识的能力。Pachocki对此表示认同，并补充说：”当前模型已经展现出发现新见解的潜力，这为人工智能技术的发展开辟了新的可能。“
在谈到通用人工智能（AGI）时，Pachocki坦言自己的观点一直在演变。他回忆起自己作为一名学生时的情景：曾经认为机器掌握围棋这样的复杂任务简直是天方夜谭，但随着2016年AlphaGo战胜世界冠军的那一刻，彻底改变了他对AI潜力的认知。
如今，Pachocki将AI的经济价值视为该领域下一个重要的里程碑。他认为，人工智能不仅需要在商业应用中取得突破，更要具备自主研究的能力。他预测，在本世纪末，人工智能将实现重大的技术跨越，甚至在今年之内就可能看到接近”完全自主”的软件开发系统。
相关文章
