杨立昆：大语言模型发展遇瓶颈，文本训练难以实现人类智能水平

图灵奖得主、Meta首席AI科学家杨立昆（Yann LeCun）近日参与了20日播出的“Big Technology Podcast”科技播客节目，在节目中深入探讨了生成式人工智能面临的挑战，以及未来AI技术的发展方向。

在访谈中，杨立昆指出，当前的大语言模型等生成式AI系统本质上是基于大量文本数据进行训练，并通过统计规律来生成回答。这种模式的局限在于，它们无法”创造新的事物”，也就是说，这些AI系统缺乏真正的创造力和创新性。与人类不同，我们能够利用常识和心理模型来思考并解决新问题，而这一点正是大语言模型所不具备的能力。

杨立昆进一步分析称，目前大语言模型的发展已经接近瓶颈。随着训练数据量的增加，边际效益正在逐渐减少。获取更多数据不仅需要巨大的成本，而且很难达到预期的效果。仅靠扩大模型规模或增加训练数据，并不能真正实现人类水平的人工智能。他认为，关键问题在于现有模型缺乏对物理世界的理解能力，以及真正的推理和抽象思维能力。

杨立昆强调，”真正的AI”需要具备理解物理世界的能力，同时还要拥有持久的记忆、支持推理和规划功能。这些是当前的生成式AI系统所无法实现的高级认知功能。

在谈到未来技术发展时，杨立昆曾在今年2月预测，人工智能技术有望在2030年前迎来新的革命性突破。然而，目前的技术仍存在诸多限制，现有的AI系统难以满足家用机器人和自动驾驶汽车等应用场景的需求。

为了解决这一问题，杨立昆正在研究一种新型AI系统，旨在通过建立一个能够预测物理世界行为的模型，从而帮助AI更好地理解和”解释”现实世界。他认为，当前的人工智能还远未达到与人类相匹敌的水平。如果能开发出像猫或老鼠那样具备基本认知能力的AI系统，也将是一个重大进步。