麻省理工教授呼吁AI公司像首次核试验前量化产品失控风险

近日，麻省理工学院的AI安全专家马克斯·泰格马克引发了一场关于人工智能未来的深度讨论。他通过与1945年”三位一体”核试验前美国物理学家阿瑟·康普顿类似的概率分析方法得出惊人结论：高度发达的人工智能系统有高达90%的可能性对人类构成生存威胁。

历史上的”三位一体”核试验是在确认原子弹引发大气层燃烧的概率极低后才得以实施的。这个决定背后的科学计算为人类社会的重大决策提供了重要参考。

泰格马克与麻省理工学院的三名学生合作撰写的论文中提出了一个具有创新性的概念：借鉴”康普顿常数”来评估强人工智能失控的风险概率。这个概念源于1959年康普顿在接受采访时提到的，在确认失控核聚变的概率低于三百万分之一后，他才批准了核试验。

这位麻省理工学院的物理学教授和AI研究专家强调，开发人工智能的企业必须以严谨的科学态度来计算”人工超级智能”(ASI)系统脱离人类控制的可能性。仅仅依靠主观判断和信心是远远不够的，企业需要提供具体的概率数据作为支撑。

泰格马克进一步指出，如果多家AI研发机构能够联合起来共同计算和评估这个”康普顿常数”并达成行业共识，将对全球范围内的人工智能安全治理机制建设起到积极推动作用。

作为麻省理工学院的物理学教授和AI领域的权威研究者，泰格马克还积极参与推动人工智能安全发展的非营利组织”未来生命研究所”的工作。2023年，该机构发布了一份引人注目的公开信，呼吁在全球范围内暂停开发更加强大的人工智能系统。

这封公开信中明确指出，目前各大实验室正在陷入一场危险的竞赛，不断推出超出人类理解和控制能力的人工智能系统。这种”失控竞赛”带来的潜在风险需要整个社会的高度警惕和共同应对。