5月29日消息，科技媒体theregister昨日（5月28日）发布博文指出，以Perplexity为代表的新兴AI搜索引擎曾被誉为传统搜索引擎的强劲对手。尽管其搜索结果一度比谷歌等传统引擎更为精准，但随着版本不断迭代更新，这些工具的表现却出现明显下滑，”模型崩溃”现象逐渐显现。
该媒体分析指出，这种质量下降并非个例。以Perplexity为代表的AI搜索引擎在处理硬数据时常常引用非权威来源，比如不基于美国证券交易委员会(SEC)要求的10-K年度报告等可靠资料。当用户未明确指定数据来源时，系统往往会生成难以理解或验证的结果。
文章深入剖析了”模型崩溃”这一现象，认为其核心问题在于AI系统的训练机制和数据处理方式。具体来说，错误的累积、稀有数据的丢失以及反馈循环是导致模型性能下降的三大主要原因：
– 错误的累积效应使得每一代模型都会继承并放大前代的缺陷；
– 稀有数据的丢失导致系统对罕见事件和复杂概念的理解能力逐渐退化；
– 反馈循环则不断强化系统输出中的局限性，使其陷入重复或偏见的泥潭。
为应对这一挑战，业内普遍采用”检索增强生成”(RAG)技术。该技术通过让大型语言模型(Large Language Models, LLMs)从外部数据库中提取信息，从而减少了AI系统的”幻觉”(hallucination)现象。
然而，彭博社的研究发现，即使采用RAG技术，包括GPT-4、Claude-3.5-Sonnet等当前最领先的大模型，在处理5000多个有害提示时仍然会产生错误结果。更令人担忧的是，RAG技术的应用还带来了新的风险：增加了泄露用户隐私数据的可能性，并可能导致生成误导性市场分析和具有偏见的投资建议。
“模型崩溃”的后果正在变得越来越严重。随着AI工具被广泛应用于内容创作领域，人们开始更多依赖AI生成的内容，而减少了对高质量人工创作的投入。从学术论文到虚构小说，AI系统正在以”垃圾输入、垃圾输出”(Garbage In / Garbage Out, GIGO)的方式影响着各个领域。
相关文章
