专家揭秘AI仿真诈骗原理
作者／ IT时报记者 孙永会
编辑／ 钱立富 孙妍
OpenAI最近动作频频，继发布Sora大模型震撼全世界后，最近又发布了一款语音引擎模型——Voice Engine，即使用单个15秒音频样本，就能生成与原说话者非常相似的自然语音。“根据这些小规模测试的结果，我们将就是否以及如何大规模部署这项技术做出更明智的决定。”OpenAI官网显示，该模型于2022年年底开发，考虑合成语音可能出现被滥用的风险，该模型正在小范围内测试。
人们为此惊叹之余，也产生了担忧。去年，一段美国女歌星泰勒·斯威夫特说着地道中文的短视频在互联网疯狂流传，此外，蔡明用英伦腔讲段子、郭德纲用英文讲相声等视频也引起了较大反响。现在，随着Voice Engine亮相，硬币的背面会带来什么结果？
语音模型的“正反面”
Voice Engine的亮点在于，使用15秒样本就能创造出富有感情、逼真的声音。“较之于Sora，此声音模型在技术层面具有多个领先性。”网络尖刀安全团队联合创始人蔡勇告诉《IT时报》记者，一方面是语音合成的自然性和逼真度更高，该模型能够让合成的语音听起来更加真实，几乎可以媲美人类语音；另一方面在于语音识别的准确性和稳定性，即能够较为精确地理解和转录语音；再者，其支持多种语言和保留说话者的原有口音。
据OpenAI官网披露，Voice Engine早期应用范围广泛，如提供阅读帮助、翻译视频和播客等内容，既能够将说话者的声音翻译成多种语言，还能保留原始说话者的母语口音，如使用法语使用者的音频样本生成英语后，将生成带有法语口音的语音。
这是该模型正面实现的效果，亦有人表示担心其会产生负面影响。
今年1月下旬，美国新罕布什尔州一些选民称接到了AI模拟拜登声音的自动留言电话，告诉接听者不要在该州初选中投票。这一事件在当地引发了轰动。
“负面影响主要是虚假信息和欺诈行为的产生以及隐私泄露。”在蔡勇看来，如果声音模型技术被滥用，可能会导致AI诈骗等频发，如通过仿真某人的语音进行身份识别或窃取个人信息。
AI换脸诈骗背后
耳听为虚，眼见也不一定为实。在“深度伪造”方面，除了声音，还有人物的面貌。
据媒体报道，前段时间，家住内蒙古鄂尔多斯的李女士因为AI换脸险遭诈骗。某日，她忽然收到了一个微信添加好友申请，因发现微信头像是老同学贾某，便通过了申请。后续，这名“老同学”主动发起视频通话，李女士看到“老同学”的样貌后，放松了警惕。
寒暄之后，贾某说有个朋友正在参加一个项目竞标，急需资金周转，但他不方便直接出面将钱转给对方，希望借李女士的账户做资金周转的桥梁。随后贾某向李女士索要了银行卡号，接着声称已经向她的账户转了196万元，同时还发来了一张“银行转账记录”截图。在收款未到账的情况下，贾某极力说服李女士先垫付资金。基于对老同学的信任，加上已经通过视频通话核实了身份，李女士将自己的40万元转入对方提供的一个银行账号。当李女士转出40万后，对方仍不罢休，要求她继续转账。此时李女士才感到事有蹊跷，但当她尝试再次联系对方时，发现自己已经被拉黑。李女士随后报警，警方立即启动了紧急止付机制，成功将被骗的40万元拦截，返还给了李女士。
“AI换脸诈骗是一种攻击手段的统称，不同手段具有不同的攻防侧重。”腾讯安全AI诈骗领域专家徐杰（化名）告诉《IT时报》记者，AI换脸诈骗主要有三种类型：其一是最为常见的人脸信息被窃取；其二是木马病毒类，用户的手机或者其他终端设备被植入木马病毒，并被不法黑客远程操控，绕过手机里的人脸识别系统，或造成较大的财产损失；其三，行为人应用AI技术将受害者的人脸融合到其他人身上，用于在线视频等实时互动场景，迷惑性较高。
专家揭秘背后原理
种种诈骗手段让人心生疑问，AI深度伪造的技术原理是什么？
据蔡勇介绍，其主要原理涉及生成对抗网络（GANs）和深度学习两个关键技术。生成对抗网络（GANs）是一种由生成器和判别器组成的神经网络系统。
“首先，我们需要一个生成器和一个判别器。生成器的任务是模仿已有的真实内容，例如人的脸部特征、声音模式或图像细节。生成器通过学习大量的真实样本，比如照片、音频文件或视频片段，来生成看起来非常逼真的虚假内容。然后，判别器的任务是辨别生成器创建的内容是否真实，它会训练自己辨别真实的内容和伪造的内容之间的差异。通过不断迭代训练，生成器和判别器会不断互相竞争、学习和提高。”蔡勇表示。
蔡勇认为，生成器和判别器相互对抗的过程是整个技术的核心。生成器试图制造出越来越逼真的伪造内容，而判别器则努力提高自己辨别真伪的能力。随着时间的推移，生成器会变得越来越擅长伪造内容，而判别器则会越来越难以分辨真伪。这种对抗性的过程不断重复，直到生成器生成的内容足够逼真，以至于人类很难分辨它们的虚假。
【Tips】
个人如何防范AI仿真诈骗？
蔡勇表示，首先要警惕不明来电，谨慎对待来电内容，尤其是涉及个人敏感信息时；其次要学会验证身份，在电话交流中可以通过提问个人信息，或通过其他渠道核实对方身份来确认是否是真实的通话对象；再者，对于收到的声音信息，不要轻信其内容，特别是在涉及资金、个人信息或其他敏感信息的情况下。
徐杰则表示，在视频或者通话过程中，仔细观察对方的动作和特征，并且通过其他渠道进一步确认，如发微信、短信或是打电话，确认次数越多，效果会更好。
