11月24日，据404 Media报道，达特茅斯学院政府学副教授、极化研究实验室负责人肖恩·韦斯特伍德在《美国国家科学院院刊》（PNAS）发表的一项新研究表明，在线调查研究这种广泛应用于科学研究的数据收集方式正面临一个严峻的新挑战——大语言模型带来的威胁。
肖恩·韦斯特伍德开发了一款名为”自主合成应答者”的人工智能工具，该工具能够回答调查问题并成功展示了其几乎可以完美绕过现有最先进的机器人检测系统的能力。
研究指出，这款AI智能体成功避开检测的概率高达99.8%。肖恩·韦斯特伍德在新闻稿中强调：”我们已经无法确定调查回答是否来自真实人类。机器人产生的数据污染可能会破坏整个知识体系。”
该AI智能体还成功规避了”反向禁忌”问题，这是一种通过设计任务来识别非人类行为者的方法。然而，大语言模型能够轻松完成这些任务，而人类几乎无法实现。
论文《大语言模型对在线调查研究的潜在生存威胁》中指出：一旦推理引擎确定了回答方式，系统就会执行模仿人类的相应操作。为了躲避自动化检测，该AI模拟了与个体教育水平相符的阅读时间，并生成类似人类的鼠标移动轨迹，逐字输入开放式问题的答案，同时包括合理的打字错误和更正。此外，该系统还设计了绕过reCAPTCHA等反机器人措施的工具，而这些通常是自动化系统的障碍。
论文进一步指出，AI能够模拟”完整的人口统计特征“，这意味着理论上可以生成特定人口特征的虚假回答来干预在线调查结果。更令人担忧的是，仅需少量虚假回答即可影响调查结果。
论文提到，在2024年大选前的主要七大民意调查中，只需加入10到52个虚假AI回答，就足以改变预测结果。这些虚假回答的生成成本非常低，每个仅需五美分，而真实人类受访者的报酬通常为1.50美元（约合人民币10.7元）。
在测试过程中，研究团队使用了OpenAI的o4-mini以及其他模型如DeepSeek R1、Mistral Large、Claude 3.7 Sonnet、Grok3和Gemini 2.5 Preview。通过接收约500字的提示，AI能够了解要模仿的人格特征，并以人类的方式回答问题。
论文建议研究人员可以通过多种方式应对AI智能体污染调查数据的威胁，但每种方法都有其权衡。例如，加强身份验证可能会带来隐私问题。论文还建议研究人员应更加透明地说明数据收集方法，并考虑采用更受控的参与者招募策略，如基于地址的抽样或选民文件。
论文最后强调，在AI技术迅速发展的时代，确保民意调查和社会科学研究的有效性需要持续探索并创新应对新挑战的研究设计。
相关文章
