整个2023年AI技术尤其是大模型与深度合成技术爆发式发展，由此带来的技术滥用问题也逐步显现，在去年的五月，飒姐团队就曾讨论过当时炸裂网络的“换脸局中局”案，在该案中，被害人好友突然通过微信视频联系被害人，并称自己在外地竞标，需要430万保证金，而且需要对公账户过账，此时，被害人好友直接给被害人发来了视频聊天（其实此时的视频就是被深度合成技术加工的换脸视频），被害人信以为真后就直接将430万转移给了骗子。
不得不说我国大陆地区对AI反诈的宣传还是很到位的，从2023年初开始多地发文提醒公众注意相关防骗风险，中国互联网协会也多次向公众发出预警，2023年以来伴随着深度合成技术的开放开源，深度合成服务产品不断增加，AI换脸、AI换声进行诈骗、诽谤等违法行为屡见不鲜，内地民众对于AI换脸的防骗技能已经慢慢点满。
01
内地之外，深度合成技术都作了哪些“妖”
最近据香港媒体报道，香港地区发生了一起利用AI深度合成技术诈骗公司财物的大案，涉案金额近2亿港元，着实令人震撼。这起AI换脸大案不仅是香港历史上损失最为惨重的“变脸”案例，而且也是首次涉及AI“多人变脸”的诈骗案。根据香港媒体透露，该案被害人是某跨国公司在香港的多名员工，诈骗者先是通过YouTube、X等社交软件收集该被害公司高管的音视频资料，而这些音视频资料就是用于训练深度神经网络的材料，深度合成模型能够学习到面部特征之间的潜在关系，并生成与真实面部特征高度相似的虚假面部特征，白话点说，就是AI通过学习骗子“喂”给他们的图像资料，进而合成一张与“喂”的资料相似的人脸。
在该案中，实际上骗子并不能实时生成图像（其他发生在内地的案件也是一样），这是因为目前虽然AI能够实时处理相应的面部信息，但生成的图片实在是有些“差劲”，因此最终用于诈骗的视频只能是事先就准备好的，也正因如此，生成视频中的“高管”很难与员工互动，不过由于会议的内容主要是上司向被骗职员们下达命令，职员们在这个过程中也没有权限向上司发问，于是这一骗局才没有露馅。
目前根据香港媒体的公开资料显示，整个案件还在进一步侦办之中，目前案件损失近两亿港元。
无独有偶，出现在香港的AI换脸诈骗案并不是孤例，根据香港警方的最新公开数据，2023年一年内香港科技犯罪的数量呈显著增加趋势，其中尤以网络诈骗的发案增加量更为显著，香港网络安全及科技罪案调查科网络安全组署理高级警司陈纯青表示，利用人工智能“深度伪造”的欺诈手法，与传统诈骗手法其实如出一辙，只是利用不同手段以取得受害人信任进行诈骗，最终目的主要是诱骗受害人将款项转账到骗徒指定账户。
可以预见随着AI技术的进一步发展，相应的诈骗案还会呈现集中式爆发趋势。
02
面对AI换脸的野蛮式爆发，个人与企业应当如何应对？
飒姐团队认为，个人与企业层面AI换脸应对策略其实重点是不同的，就个人而言，应当更多地增加自身的防骗技能，就个人防骗而言，飒姐有一个妙招教给大家：
目前的深度合成技术对于实时视频中的换脸还不成熟，很容易被发现，因此骗子一般都是用的预制视频进行诈骗。因此在与熟人、领导交流的过程中，一旦熟人、领导等要求转账，并发来视频邀请，在视频中可以通过说出一些出其不意的问题或者出其不意的话，或者直接打断领导在视频中的讲话，要求验证一下是否是实时视频的方式，验证对面的人是真人还是深度合成预制视频。当然，最为治本的防骗方式还是一律不转账，只有在肉身见面时才做出转账的动作。
对于企业尤其是科技企业而言，防骗技能自不必多说，更需要注意的是在进军AI的过程中应当如何做到合规。
不可否认目前深度合成技术是“朝阳产业”，随着技术迭代深度合成技术成本急剧降低，相关企业甚至可以达到通过“走量”赚取暴利，根据调查，目前制作一套“露脸且说话”视频的成本低至数十元，且只需要提供正面照片就能生成视频，生成的视频不仅眼睛、嘴巴、头会动，如果提供文字和声音内容，甚至口型都能对得上，而这一切只需要几小时就可完工。有商家称利用照片生成一段1分钟时长的视频仅需要30元，质量要求不高的几元就可以做到。
值得注意的是，这类行为具有巨大的刑事风险，《中华人民共和国刑法》第二百八十七条之二规定了帮助信息网络犯罪活动罪。帮助信息网络犯罪活动罪即明知他人利用信息网络实施犯罪，为其提供互联网接入、服务器托管、网络存储、通讯传输等技术支持，或者提供广告推广、支付结算等帮助，情节严重的行为。此处的“明知”在实务中往往通过客观证据即可认定，而不依赖于行为人的主观说辞，同时，为客户提供AI换脸技术，亦可以被解释为“为其提供……等技术手段”。换言之，在AI换脸技术引发的电信诈骗案件如此猖獗的情况下，客户无正当理由，且没有显著证据证明其获得了照片人的认可而要求AI换脸技术提供者利用照片生成视频，而相关技术提供者制作了视频，又被客户用以行骗时，AI换脸技术提供者极易陷入帮助信息网络犯罪活动罪的刑事风险之中。
03
写在最后
深度合成技术作为目前AI大潮中很有前景的一项应用，其必定会在2024年一直火下去，也正因如此，对于进军AI的中小科技企业，其合规问题必须受到重视，飒姐团队总结了相关从业者的20个合规义务，在文章的最后供从业者参考，有任何具体合规需求，也欢迎联系飒姐团队。
生成内容的合规边界
1.不得从事涉政涉黄；
2.不得合成虚假新闻，非持牌不得传播非国家规定范围内的单位发布的新闻；
3.不得违背公序良俗（例如第三者如何抢夺原配家产）；
4.不得生成违法和不良信息，这方面可以健全相应“特征库”，筛选健康信息；
5.不得恶意贬损他人名誉和企业商誉（法律后果是会被起诉名誉权侵权）；
6.对于不可控的创作内容，及时删除降低社会危害。
具体的合规义务
1.健全用户注册制度；
2.算法机制机理审核；
3.科学伦理审查；
4.信息发布审核；
5.数据安全管理制度；
6.个人信息保护制度；
7.反电信诈骗制度；
8.应急处置管理制度；
9.在App或网站，公开管理规则、平台公约，完善服务协议，以显著方式提示各方承担信息安全义务;
10.健全用于识别违法和不良信息的特征库，留存日志；
11.发现违法和不良信息，有向主管机关报告的义务；
12.发现违法和不良信息，对使用者依法依约，采取处置措施；
13.全辟谣机制；
14.设置便捷申诉和举报入口，及时反馈结果；
15.加强训练数据管理；
16.定期审核、评估、验证生成合成类算法机制机理；
17.依法自行或委托专业机构开展安全评估；
18.对生成内容，采取技术措施添加不影响用户使用的标识；
19.不得删除、篡改、隐匿深度合成标识；
20.按照《互联网信息服务算法推荐管理规定》履行备案、变更、注销备案手续。
以上是今天的分享，感恩读者！
