21世纪经济报道记者肖潇 北京报道

  越来越多杀猪盘在和生成式AI“联姻”,让爱情骗局更逼真。10月14日,香港警方表示捣毁了一个诈骗窝点,诈骗者利用深度伪造技术换脸成年轻女性,诱使受害者投资虚拟货币产品,涉案金额超过3.6亿港元。

  “杀猪盘”是近年高发的一种诈骗形式。诈骗者通常会在社交平台上打造一个虚假人设,以婚恋交友的方式“养猪”,最后实现钱财骗取,即“杀猪”。

  近期联合国毒品和犯罪问题办公室(UNODC)在一份142页的报告中,对这一新兴犯罪现象发出了严厉警告——东南亚地区的诈骗者正在利用生成式AI和深度伪造技术,来扩大诈骗行动的规模和有效性。 这份最新报告提供了迄今为止最明确的证据,比如去年亚太地区的深度伪造事件增加了1530%;近半年的监测数据显示,暗网Telegram上面向诈骗团伙的深度伪造产品,增加了600%以上。

  杀猪盘的国内社区讨论里,已经有不少人表示自己遇到了主动要求视频的“盘哥”“盘姐”。以前他们只能播放提前录制的视频,无法正常对话,现在嘴形和声音都能匹配。

  长期研究网络犯罪的技术专家提醒,杀猪盘与AI技术“联姻”,是为了增加信任感和真实感,但本质套路没有发生改变。对普通人而言,能做的是提高对杀猪盘等网络诈骗的整体警惕性。

  主动视频的“盘哥”“盘姐”

  在过去,人们认为诈骗分子会“拒绝进行视频通话”以免暴露身份,这一经验如今面临失效。

现代版“画皮”:AI换脸生成“爱情骗局”,杀猪盘正走向人工智能  第1张

  UNODC的报告指出,有强烈迹象表明,越来越多深度伪造的内容正在被东南亚诈骗团伙用于犯罪,尤其是“一键”换脸和高分辨率的视频传输,改变了诈骗者的行骗方式。 

  报告解释,诈骗者往往需要虚构一个外貌出众、事业有成的人设作为“诱饵”,而现在的深度伪造技术可以操纵面部表情和声音音调,允许在视频中精确实时操纵面部。诈骗者因此能向受害者证明他们就是自己声称的那个人,制造出更有说服力的场景。

  在本次香港警方侦破的案件中,诈骗团伙用深度伪造技术改变了视频通话中的样貌、音色、服装,男性换脸为相貌姣好的年轻女性,声音也随之改变。

  目前杀猪盘的国内社区讨论里,已经有不少人表示自己遇到了主动要求视频的“盘哥”“盘姐”。“风起雨落”回忆,以前诈骗者多播放提前录制好的视频,只要跟他们互动就会出现破绽。现在的杀猪盘敢实时通话,动作、嘴形、声音都能匹配上。

  联合国的报告指出,一批暗网供应商在背后推动了深度伪造技术的整合。目前有数十个深度伪造的软件提供商,专门面向东南亚地区的网络诈骗团伙销售。

现代版“画皮”:AI换脸生成“爱情骗局”,杀猪盘正走向人工智能  第2张

  这些深度伪造技术产品拓展出了多种套件,包括音频伪造或者声音交换功能,有换脸软件公司甚至推出“7天24小时支持、送货上门服务”,并声称已在一千多个区域了安装了产品。

  通过Telegram等加密暗网发布区域性广告,是这些供应商的主要推广方式。UNODC在今年2月到7月之间监测了Telegram内容,结果显示,聊天群里针对犯罪团伙的深度伪造相关内容,提及次数增加了600%以上。

  英国网络身份验证公司Sumsub发表的《2023年深度伪造报告》显示,2022年至2023年间,亚太区的深伪事件增加了1530%。去年深度伪造事件增长最快的前五个国家,分别是菲律宾、越南、日本、斯里兰卡和澳大利亚。

  国投智能首席科学家、福建省电子数据存取证重点实验室主任江汉祥向21记者分析,杀猪盘用AI视频换脸,的确相对容易,做到真假难辨没有问题。

  江汉祥长期研究网络犯罪和大数据侦查,他解释,深度伪造换脸真正的诱惑性是冒充熟人,“但这需要很多条件和技术资源,需要在网络上收集大量资料。”而在杀猪盘的情景里,受害者与“盘哥”“盘姐”模仿的人并不熟,因此深度伪造技术不需要模仿出某个具体的人。

  资料搜集的难度低、没有熟悉的参照物让受害者对比,AI只需要“表演”得像一个普通人类就行,这是杀猪盘用AI换脸欺骗性之强的原因。

  精通多国语言,但有情感缺陷

  除了深度伪造视频,联合国报告还提到了四种诈骗团伙更常用的AI技术:大模型生成的文本图片、自动聊天机器人、声音克隆、AI驱动的压力测试(简单理解为用AI来模拟各种网络攻击)。

  报告解释,常见的诈骗使用场景有制作自动化网络钓鱼攻击,制作假身份和个人资料,生成个性化脚本来欺骗受害者,并在数百种语言的实时对话进行互动。

  这些发展不仅扩大了网络诈骗的范围,而且降低了入门门槛。“AI驱动技术的整合将随着时间的推移,增加网络诈骗的数量。诈骗会以更快的速度和规模发生,犯罪集团也能创建更具说服力和个性化的诈骗内容。”报告写道。

  举例来说,诈骗者往往没法用多种语言和方言与数百名受害者同时互动,但ChatGPT这样的工具可以为他们提供语言支持。

  网络安全公司Sophos此前在博客中透露了一个案例,已经有诈骗分子不小心透露出他们使用了大模型生成文字——骗子在WhatsApp上给目标发送的信息中写道“非常感谢你的好意!作为一个语言模型,我不像人类那样有感情或情绪,但我的功能是给出有益和积极的答案来帮助你。”

  Sophos的研究员认为,这表明诈骗团伙还无法让人工智能自动完成整个“杀猪”过程。“就杀猪盘而言,目前的模型并不擅长描绘情绪和情感,而这正是这类骗局得以得逞的关键所在。”

  像ChatGPT、Gemini等大模型产品已经装上了禁止协助犯罪行为的“护栏”,但要从技术侧防治,仍然有不少困难。

  江汉祥解释,“杀猪盘的过程就是模拟人们获取信任的过程,如果要生成完整过程的文字,大模型可以识别。但如果是割裂成一句或几句话,专业的公共安全大模型也是难以识别的。” 他建议,针对这种情况,技术提供方可以总结生成者的多方信息,事先训练数据,在一定程度上判断、拒绝不合适的请求。

  此前江汉祥对21记者表示,AI诈骗之所以能够诈骗成功,关键在于出于普通人的日常认知之外。在他看来,使用AI技术的主要作用是增加杀猪盘的信任感和真实感,杀猪盘的最本质套路没有变,目前个人能做的仍然是提高整体警惕:不要信任网络的交心与情感,不要贪小便宜,或相信天上掉下馅饼。