香港警方近日披露,一家跨国公司香港分部的职员受邀参加了一场总部的“多人视频会议”,按领导要求汇款被骗2亿港元,后发现多人视频会议只有自己是真人;陕西西安从事财务工作的张女士在与老板视频通话时,被要求转账186万元到一个指定账号,见面后老板表示未与她进行该视频通话……近来,新型的视频“AI换脸”诈骗案件出现,警方经过调查发现,这些跟受害者视频沟通的“同事”,全部是经过“AI换脸”后的诈骗人员。
“AI技术的快速发展,特别是‘AI换脸’技术的出现,不仅改变着我们的生活,也开始颠覆人们的认知。就连一直被人们奉为圭臬的成语‘耳听为虚,眼见为实’,也变成‘耳听为虚,眼见也不一定为实’了。”南京航空航天大学计算机科学与技术学院/人工智能学院副教授李博涵告诉科普时报记者。
基于动态视频的“AI换脸”诈骗,技术上是怎么实现的?
“其实只需一张目标人物的脸部照片,导入到AI软件就可实现。”李博涵说,“AI换脸”技术的原理在于将预先训练好的深度学习模型应用于人脸识别和替换。这些模型基于大量的人脸数据进行特征标注和生成训练,通过检测和提取源视频中的人脸,模型就可以将目标人脸嵌入到源视频中,然后合成逼真的新视频场景。
电科网安AI团队负责人吴杰告诉记者,虽然AI处理换脸的过程瞬间就可完成,但在技术层面上也包括人脸位置检测与追踪、人脸特征抽取等多个步骤。
随着Sora的问世,技术上已经可以用更少的人脸数据,构造出高逼真的特定人脸模型。“AI技术发展已经让‘换脸’的门槛变得越来越低,这肯定会导致深度伪造内容更加泛滥,进而增加被用于违法活动的风险和隐患。”李博涵说。
那么,我们又该如何防范呢?
吴杰提醒,首先要谨慎对待陌生链接与视频要求,切勿轻易点击或提供个人信息。此外,个人信息安全是防范“AI换脸”诈骗的关键,要强化对人脸、声纹等生物特征数据防护,不要过度公开或分享动图、视频等含有这些信息的资料。“如果实在无法避免,那么在视频对话时,我们可以要求对方在脸部前方进行挥手等动作,以观察其面部是否存在异常情况,也可以问一些只有对方知道的问题,以确保对方身份的真实性。”
当然,完全依靠公众自己来判断真伪肯定难以杜绝诈骗的发生。吴杰介绍,“‘用AI打败AI’是应对这一问题的技术趋势。”目前在技术防范层面,主要是通过加入不可见水印等方法进行主动防御,以及用AI分析唇部运动、图像重建放大伪造痕迹等进行被动检测。