肖飒团队 | Sora横空出世:利用最高级的技术行最普遍的诈骗?

肖飒团队 | Sora横空出世:利用最高级的技术行最普遍的诈骗?
2024年02月27日 12:01 肖飒律师狮姐

就在半个月前,美国人工智能研究公司OpenAI发布了人工智能文生视频大模型Sora,Sora这一名称源于日文“空”,有天空的意思,以彰显其无限的创造潜力,其背后的技术是OpenAI的文本到图像生成模型DALL-E,Sora可以根据用户的文本提示创建最长60秒的逼真视频,可以深度模拟真实世界,甚至能够生成具有多个角色、包含特定运动的复杂场景。

值得注意的是,Sora的“前辈”,人工智能文生图技术以及Deepfake深度合成、深度伪造技术都曾被广泛应用于诈骗之中,就在前不久香港警方向社会公布了一起AI文生图和AI音频合成视频的诈骗,黑客利用深度伪造技术生成某跨国总公司CEO的视频影像,直接骗走了2亿港币。Sora的横空出世使得这类骗局的成本大大降低,逼真度大大提升,可见在不远的未来利用Sora的骗局就将横空出世。

人工智能技术的广泛应用为公众提供了更有效率、更智能的信息服务,但同时也为网络诈骗提供了机会。不法分子大多利用AI技术合成人脸和声音制造虚假图像、音频、视频,冒充他人实施欺诈,侵犯消费者合法权益。飒姐团队就结合近期热议的AI相关案件,与大家聊一聊这些AI骗局的破解之道

01

最高级的骗局往往只需要最朴素的技术

1、线上内容“眼见耳听”不一定为实

AI技术让原本非常复杂、需要通过专业训练方能实现的图像、视频“换脸” 、“拟声”等合成技术瞬间“走入寻常百姓家”,甚至一个电脑小白通过一两天的训练也能完全掌握AI换脸技术,Sora的出现更可以让一个毫无视频制作基础的人“制造”出一个近乎完美的以假乱真的视频,实际上AI文生图、文生视频以及“拟声”(声音克隆)技术的一大特点即操作简单、伪装性高,可谓“最高级的骗局只需要最朴素的技术”,利用AI技术,不法分子很容易就做到“以假乱真”。针对目标人群,可以做到定制化伪装,通过模仿熟人的声音、形象,精准地实施诈骗。因此在涉及到资金往来的时候,消费者应提高警惕,认真仔细地辨别对方的声音和形象。

“眼见耳听”不一定为实,这并不代表我们完全不能防范AI诈骗,实际上由于目前深度合成技术的壁垒,在未来一段时间(可能是一到两年)内,要求视频中的人物快速移动头部和面部,做出快速眨眼和张嘴的动作,并在视频中的人物做出上述动作时仔细观察画面会不会出现奇怪的变形,就会很容易分辨出视频是否经过伪造。

2、在视频中提到钱,一定要警惕

当朋友、同事、家人等通过社交软件、电话等以各种理由要求汇款时,务必核验对方身份和转账信息。如线下见面核实、询问仅双方知晓的问题、向银行等机构咨询等。在没有确定对方身份的时候,尽量避免转账操作。

3、保护好声音、照片等个人信息

消费者应提高个人信息保护意识,不随意下载陌生软件、注册陌生平台或添加陌生好友,不过度公开或分享个人照片、声音、视频等信息,尤其是人脸、指纹、声纹、虹膜等个人生物信息和身份证、银行卡照片等关键信息。如不慎被骗或遇可疑情形,应注意保存证据并立即向当地公安机关报案。

02

技术论-如何防范、检测伪造视频

上一部分飒姐团队只是提到了简单的几个方法,比如让视频中的人物快速做出某种动作来检测视频是否为AI伪造,当然还有另外更为精确的手段。实际上早在2022年,加州大学滨河分校的团队开发了一种新方法来检测深度伪造视频中被操纵的面部表情。该方法将检测造假视频任务分成深度神经网络中的两个部分,其一可以辨别面部表情,其二则是一个编码器-解码器架构,负责操作和检测定位。通过这样一种技术手段,可以利用技术方式准确地检测出超过99%的深度合成视频,这类技术随着Sora等文生视频技术的发展,有着很广阔的应用前景。

实际上,除了上述利用技术手段检测AI伪造视频,从法律角度对于Sora类技术的监管也极为重要,飒姐团队在此列举我国相应监管规范性文件,以供各位老友参考:

1)明确公民肖像权、个人信息权益受法律保护。《民法典》将“不得利用信息技术手段伪造等方式侵害他人的肖像权”作为侵害肖像权的一种典型形态予以规制。

2)《网络音视频信息服务管理规定》要求“非真实音视频信息”应当以显著方式予以标识,不得利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播虚假新闻信息。

3)新施行的《互联网信息服务深度合成管理规定》作为我国第一部针对深度合成服务治理的专门性部门规章,明确了深度合成数据和技术管理规范,强化了深度合成服务提供者和技术支持者的主体责任。

4)为促进生成式人工智能健康发展和规范应用,今年4月11日国家网信办起草《生成式人工智能服务管理办法(征求意见稿)》并向社会公开征求意见,首次针对当下爆火的生成式AI产业发布规范性政策,对数据合规性、生成内容合法性提出具体要求

03

写在最后

我国法律对涉嫌侵权、违法违规及刑事犯罪的行为态度明确,无论是直接实施电信网络诈骗的行为人,还是为诈骗活动提供技术支持、资金结算、宣传推广等帮助的人员,都可能因涉嫌诈骗罪被追究刑事责任。同时,我国已出台相关法律法规对AI诈骗进行源头治理与综合治理。面对技术发展衍生的违法滥用问题,每一位参与者都应遵守法律法规的要求,尊重社会公德、公序良俗,尊重他人合法权益,共同营造一个更加安全、健康和有序的网络环境

以上是今天的分享,感恩读者!

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部