GoPlus安全研究：警惕AI换脸危害

原文标题：《GoPlus 安全研究：警惕 AI 换脸危害》

原文来源：GoPlus

1. 什么是“AI 换脸”

AI 换脸，通常指的是利用深度学习中的 Deepfakes (深度伪造) 技术，将一个人的脸替换成另一个人的脸。这项技术可以通过分析目标人物的面部特征，然后将其应用到另一个视频或图片中，从而创造出看似真实的假视频或图片。

换脸技术在娱乐、电影制作等领域有一定的应用价值，但同时也带来了诸多危害，具体来说, Deepfakes 因其在制作儿童性虐待材料、名人色情视频、报复色情、假新闻、恶作剧、欺凌和金融欺诈方面的潜在用途而受到广泛关注。

2. “AI 换脸”的发展史

2017 年，来自 University of Washington 的 Supasorn Suwajanakorn 等人使用深度学习技术，推出了“Synthesizing Obama”[1](合成奥巴马项目), 该技术发表于 Siggraph 2017。简单来说，这项技术修改了巴拉克-奥巴马的视频片段，让他口中念出与视频无关的新音轨中的词语。其技术是循环神经网络 Recurrent-Neural-Network(RNN) 和嘴型合成 (Mouth Synthesis) 等技术的综合应用。其效果非常好，视频中的音频和嘴部进行匹配达到了以假乱真的合成效果:

synthesizing obama 的技术概览图

另一个类似的项目是现在就职于德国 TU Darmstadt 的教授, 可爱的胖哥Justus Thies在 2016 年提出的 Face2Face [2] (该技术是修改目标人物 (dst: destination) 的面部视频片段，使其实时模仿中之人 (src: source) 的面部表情, 发表于 CVPR2016). 因为这个项目, Justus Thies 还在 2019 年被德国首相默克尔接见, 讨论媒体篡改的风险和挑战 [3]。

箭头指向的就是胖哥 Justus Thies

上面这些技术印证着基于深度学习 Deep Learning 的深度伪造技术的基础已经具备，那么，deepfake 的具体诞生是在哪里呢?

答案是: Reddit!

是的，Deepfakes 一词起源于 2017 年底左右，由一位名为“deepfakes”的 Reddit 用户提出。[4] 他以在 Reddit 社区开创了 r/deepfakes 频道，频道中大家分享了他们创建的 Deepfakes 视频：当时最流行的是将名人的脸换到色情视频中演员的身体上。

在几乎同一时间, 各种各样的视频和社区犹如雨后春笋版出现，大家在论坛分享自己的视频，其中，很多视效后期工作者在为换脸视频加上各种复杂的特效和超分辨率等技术，使其质量达到了真正的 Photo-realistic(以假乱真) 的效果，并在 Youtube 等 UGC 视频平台进行广泛传播, 据研究统计, Deepfakes 相关视频在 Youtube, Instagram, Tik-tok 等平台的总访问量超过 100 亿次+。相关的高质量视频制作者的单条视频就有突破 100 万点击的情况。

在这些视频的背后, 不可忽视的是开源社区最成功的换脸软件 DeepFaceLab 系列 [5,6](总计 Github 66,000+ star, top 0.0001% of Github, 2020 年十大 AI 开源项目之一, 和 Tensorflow & PyTorch 一起入围), 该软件由 Ivan Perov 和 Daiheng Gao (Daiheng 也是 GoPlus 的 AI Advisor, 专注于 PoH 的防治) 等人开发

DeepFaceLab

以 DeepFaceLab 和 FaceSwap 为代表的一系列开源 deepfakes 技术相比于学术界的技术，突出优势就是简单易上手、无需技术背景亦可使用！

不同于传统的 Github 项目，DeepFaceLab 提供了基于 windows linux 平台的一键脚本 bat, 即用户可以傻瓜式的按照流程进行换脸模型的训练和推理，极大的降低了换脸技术的制作门槛，这也是为什么换脸视频得以推广和传播的关键！

3. “AI 换脸”的危害!

· 传统金融领域案例：

在传统金融领域，换脸技术被用于诈骗活动。例如，根据报道 [7,8], 不法分子利用非法获取的个人信息，通过计算机算法仿真合成受骗者亲人、领导同事或公职人员的肖像面容与声音，冒充上述人员身份行骗。在获得受害者信任后，使用事先准备好的套路话术向受害人发送银行卡转账、虚拟投资理财、刷单返利等诈骗信息，并利用视频通话、语音轰炸等手段进一步降低受害者的防备心，导致受害者在短时间内难以察觉异样，一旦听信诈骗分子的骗术并完成转账，对方便杳无音信。

· Web3 案例

最近引起大家重新对”AI 换脸”的重视, 是源自用户的 okx 的数字货币被人用 AI 换脸的方式添加了地址白名单，从而转移走了资金。价值超过 300 万美金! [9]

该新闻是本周一 (2024 年 6 月 3 日爆出), 引起了广大 web3 用户对人脸识别安全验证的担忧!

之前, Web3 用户对于 Proof-of-Human 环节中的人脸验证由于用到非常少，因此并不敏感。这次换脸问题导致巨额资金损失的情况爆出后。许多人都开始怀疑如 OKX, Binance 等大交易所的 KYC 以及人脸验证技术是否靠谱。

是否有公正和合理的第三方机构来对其进行验证，判断这些大交易所的安全性。

4. 2024 年技术的新进展以及对用户的警示

2024 年，在 OpenAI 出现的 2 周后，来自阿里巴巴达摩院的 EMO [10](Daiheng Gao 组内工作) 的横空出世, 基于扩散模型的长时间脸型驱动技术宣告成熟。

这意味着，不法分子仅凭单张照片就可以做出高质量的人脸伪造视频，来骗过交易所的验证渠道！

此外，随着声音克隆技术 (bert vits2 [11]) 的成熟，别有用心的不法分子刻意采集用户音频信息，来用模型复刻交易所验证中所需要的人声说话环节！

由此可见，2024 年的技术的新进展需要让用户和交易所都倍加警惕。可惜的是，目前的 Web3 行业内对此类技术并不了解，缺乏相关人才来贡献做出针对性的改变，以切实的保护用户利益。

作为用户，我们只能确保自己的个人信息尽量减少泄露，并坚决不录制带声音的露脸视频在互联网上随意传递，以避免潜在的风险。

5. GoPlus 在行动

自从 2024 年 3 月份和 Daiheng Gao 建立合作关系后, GoPlus 持续支持 Daiheng 在视频人脸伪造领域进行研究，并资助了相关实验室 (USTC 网络安全研究院等)。

在图像领域，Daiheng 曾在 2019 年 Meta 举办的 Deepfake detection 挑战赛拿下第 2 名的成绩。目前在视频领域，Deepfake detection 是更加值得注意的部分！

用户财产安全是生命线，GoPlus 愿和用户一起，为交易所，KYC 等一道，提供 State-of-the-art 的方案，用最先进的 AI 技术，尽最大努力减少风险的发生！

参考文献:

[1] Suwajanakorn, Supasorn, Steven M. Seitz, and Ira Kemelmacher-Shlizerman. "Synthesizing obama: learning lip sync from audio." ACM Transactions on Graphics (ToG) 36.4 (2017): 1-13.

[2] Thies, Justus, et al. "Face2face: Real-time face capture and reenactment of rgb videos." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.

[3] Cabinet Meeting: Synthetic Media - Danger or Opportunity?

[4] Cole, Samantha (24 January 2018). "We Are Truly Fucked: Everyone Is Making AI-Generated Fake Porn Now". Vice. Archived from the original on 7 September 2019. Retrieved 4 May 2019.

[5] DeepFaceLab, https://github.com/iperov/DeepFaceLab

[6] DeepFaceLive, https://github.com/iperov/DeepFaceLive

[7] “AI 换脸”诈骗如何防 金融监管部门提示 https://www.gov.cn/lianbo/bumen/202310/content_6907773.htm

[8] 深度丨知人知面不知心！警惕“AI 换脸”金融诈骗术 https://m.21jingji.com/article/20231020/herald/1f23a5a3959ab7cc544e0c0d93ed6886.html

[9] AI 换脸绕过 OKX 审查系统, 用户损失 300 万刀 https://x.com/BroLeonAus/status/1797553316404371967

[10] EMO: Emote Portrait Alive - Generating Expressive Portrait Videos with Audio2Video Diffusion Model under Weak Conditions https://humanaigc.github.io/emote-portrait-alive/

[11] Bert Vits2 https://github.com/fishaudio/Bert-VITS2

本文来自投稿，不代表 BlockBeats 观点。

欢迎加入律动 BlockBeats 官方社群：

Telegram 订阅群：https://t.me/theblockbeats

Telegram 交流群：https://t.me/BlockBeats_App

Twitter 官方账号：https://twitter.com/BlockBeatsAsia