5月14日，一家非盈利性质的AI研究机构Epoch AI发布了最新研究报告。该报告指出，在推理模型领域，企业难以持续获得显著性能提升。最快在一年之内，推理模型的能力提升即将达到瓶颈。
这份报告的研究结论是基于公开数据和一系列假设得出的。报告强调了计算资源的限制以及研究投入不断攀升的问题。长期以来，AI行业严重依赖这些模型来推动基准测试水平的提升，但这种过度依赖的发展模式正面临严峻挑战。
该机构分析师Josh You指出，推理模型之所以兴起，主要是因为它们在特定任务上展现出了超越传统模型的优势。例如，OpenAI推出的o3模型在过去几个月中，在数学和编程能力方面取得了显著进步。
然而，这些推理模型通过增加计算资源来实现性能提升，但这也带来了新的问题。为了处理更复杂的任务，这些模型需要进行更多的计算，因此相比传统模型，推理过程所需的时间也更长。
注：推理模型的训练过程主要分为两个阶段。第一阶段是基于海量数据对一个基础规模的模型进行训练，第二阶段则采用强化学习技术。这种技术类似于为模型提供“反馈”，从而帮助其优化解决复杂问题的能力。这种方法虽然推动了AI技术的快速发展，但也暴露出了潜在的技术瓶颈。
包括OpenAI在内的顶尖AI实验室正在加大对强化学习技术的投资。据了解，在训练o3模型时，OpenAI使用的计算资源比前代产品o1提升了约10倍，其中大部分用于强化学习阶段的训练。研究者Dan Roberts透露，OpenAI未来的发展重点将放在强化学习领域，并计划投入更多的计算能力，甚至超过初始模型训练所需的水平。
这种投资策略虽然加速了模型性能的提升，但Epoch AI的分析表明，这种提升并非没有上限。随着计算资源的需求不断增长，物理和经济上的限制将成为新的障碍。
Josh You在报告中详细阐述了性能提升幅度的变化趋势。目前，标准AI模型训练的性能每年翻一番，而强化学习技术的应用使得每3-5个月性能就能提升十倍。这种快速提升的趋势可能在2026年达到顶峰，并与整体AI前沿技术水平趋于一致。
他进一步强调，推理模型的规模化发展不仅面临计算资源的限制，还有高昂的研究投入门槛：”如果持续的研发需要耗费大量资源，推理模型的实际规模可能无法达到预期目标”。
相关文章
