多名公众人物遭受“AI面容替换”,需注意的陷阱有哪些

AI资讯2个月前发布 ainav
56 0

当前,人工智能技术正在以一种前所未有的方式重塑我们的世界。尽管它为我们的生活带来了诸多便利,但也随之带来了一系列潜在的风险和挑战。近期,“张文宏被AI带货”的事件引起了社会的极大关注,并使得“AI换脸”这一话题再次成为了公众讨论的热点。

频繁出现利用“AI换脸”技术冒充名人的事件

近日有网络用户指出,一位疑似著名医生张文宏的人士出现在了直播带货中,在网上推广商品。经过确认,“张文宏”实际上是利用AI技术制造的虚拟人物。视频中的该人士详细介绍产品,其声音和外貌都与真正的张文宏高度一致,误导了不少消费者相信这是真的张文宏在做推荐。

多位知名人士遭遇“AI换脸”,这些套路要警惕

针对此事,张文宏表示,存在多个冒用其名义推销商品的账户,并且这些账户不断变换形式出现。尽管他已经反复向相关平台提出投诉,但这些违规账户仍然层出不穷。

实际上,张文宏的经历并不是孤立的现象。近来,利用人工智能深度伪造技术冒充知名人士的情况时有耳闻。

在2024年的国庆假期中,网上流传了几段用AI技术模仿雷军的声音与外观制作而成的搞笑视频。“雷军”的形象在这类视频里就交通拥堵等问题发表了一些带有不雅词汇的观点评论,这为真实的雷军带来了一定程度上的困扰。

2024年11月,在江西有一位65岁的女性计划向银行申请一笔200万元的贷款,目的是支持她认为的真实身份为某知名演员“靳东”的男朋友拍摄电影。然而,调查揭示了事实真相:她在短视频应用上结识的所谓“靳东”实际上是一个骗子伪装的角色,而该骗子发布的视频内容也是通过AI技术伪造而成。

“所见未必真实”的AI技术有其局限性

所谓的“AI换脸”技术是指通过对人脸图片的精确识别与关键面部特征的抽取,并借助深度学习算法将这些特征应用于目标人脸图像上进行匹配、替换和融合处理。在此过程中,还会结合背景环境的渲染以及音效合成,以生成极具真实感的人造视频内容。这项创新彻底改变了公众对于“亲眼所见即为事实”的固有观念。

技术自身不具备道德属性,然而某些违法者出于个人利益考虑,不当使用这项技术,在视频里擅自更换知名人士的脸部图像以生成不实信息,并利用这些内容进行欺诈行为。

多位知名人士遭遇“AI换脸”,这些套路要警惕

尽管换脸AI具有强大的模仿能力,并不代表它毫无瑕疵。利用AI生成的视频通常会留下明显的迹象。例如,角色的脸部表情可能显得生硬,眼神变化与动作缺乏一致性,特别是在处理面部细微情感表达及眼神自然移动方面;此外还可能出现画面衔接不顺畅、背景与人物结合不够和谐的问题;同时也会遇到声音节奏和口型同步不良的情况。

另外,“AI换脸”技术也有其限制之处,在需要同步更改脸部图像与语音的情况下,目前仅能生成视频内容,并不支持即时直播功能。

怎样避免“人工智能面部替换技术”可能引发的风险

多位知名人士遭遇“AI换脸”,这些套路要警惕

近期,“AI换脸”技术引发的负面影响日益增多,急需从多个角度入手加以防控和管理。

首要的是,平台需要增强其技术措施。应对用户账户上传的所有内容实施严格的审查,并且持续监控与评估视频内容;一旦检测到有虚假陈述或欺骗消费者的迹象时,应当立即介入处理。

此外,用户应当增强警觉并提升识别技巧。在欣赏视频的过程中应持审慎态度,切勿轻信视频内传达的信息。尤其是在遇到涉及资金往来或个人隐私等关键问题时,务必采用多途径验证信息的准确性,以防落入诈骗陷阱。

另外,还需增强法律法规的制定、执行和司法处理力度。我国已经发布了诸如《互联网信息服务深度合成管理规定》及《生成式人工智能服务管理暂行办法》等一系列法律文件,但随着技术的进步与应用场景变得愈加复杂,现有的法律框架仍需进一步完善细化,确保能够及时适应技术创新的步伐,并通过法治途径推动科技向善;在执行和司法层面,则需要严厉查处包括使用“AI换脸”在内的各类非法行为,以减轻此类人工智能犯罪对社会的不良影响。

© 版权声明

相关文章