您当前的位置:首页 > 新闻资讯 > 法律

“只要能看到脸的都能换” 滥用“AI换脸”技术伪造女明星涉黄视频 法院判了!

时间:2024-03-22 10:15:36  来源:央视网  作者:

AI换脸”相信大家都不陌生。只需要一张照片,通过人工智能深度合成技术,任何人都能成为视频中的主人公,甚至连表情和动作都能以假乱真。然而,这项新技术,却让一些人产生了不良想法,杭州的虞某就利用“AI换脸”软件生成大量淫秽视频进行传播,被换脸的有不少女明星等公众人物,虞某甚至还提供换脸定制服务。

“AI换脸”伪造女明星涉黄视频

2022年8月,杭州市萧山警方在网上巡查中获取一条线索,辖区内有人利用AI技术制作淫秽视频在网上进行大量传播,警方依法对此立案侦查,并迅速抓获了犯罪嫌疑人虞某,随后该案被移送至杭州市萧山区人民检察院审查起诉。

杭州市萧山区人民检察院检察委员会专职委员 章蕾:虞某通过在互联网上发现了有一个AI换脸的技术软件,他自己通过学习这个软件,掌握了使用技能,从此开始利用AI换脸的技术去牟利。

检察机关调查发现,虞某从2020年开始接触“AI换脸”软件,起初,他想通过在网上推广该项技术以及相关的软件来获利,但是,一段时间过后关注他的人却很少,一次偶然的机会,虞某看到有人在社交群组中发布淫秽信息来吸引他人关注,于是他也动起了类似念头。

杭州市萧山区人民检察院第七检察部检察官助理 陈禹尧:他可能发现仅仅通过贩卖软件的方式,可能很难获取到一般人的关注。因为他在网络上看到有一些网络群组在传播一些淫秽色情视频,他就想到说通过换脸软件制作一些淫秽色情视频,然后先放在互联网群组上,从而吸引流量,吸引大家来关注这个软件或者换脸视频。

据虞某供述,为了吸引更多的关注和流量,他在社交软件上创建了“浏览群”和“私人定制群”,“浏览群”主要用来传播“AI换脸”的淫秽视频吸引、招揽观看者,其中包括一些经过虞某换脸的视频,当有人提出“定制换脸”的需求,虞某会将这些人引入所谓“私人定制群”。

杭州市萧山区人民检察院第七检察部检察官助理 陈禹尧:通过收取入(浏览)群费用的方式,一个198元、298元或者398元。另外一个就是虞某还提供人脸视频定制服务,相当于客户如果需要定制一个换脸的视频,他可以根据时长,根据视频的难度大小收取相应的费用。

私人定制→“只要能看到脸的都能换”

据检察机关调查,虞某一边通过传播换脸的淫秽视频来“吸粉引流”,同时又通过出售“AI换脸”软件和提供所谓“AI换脸”的私人定制服务,在不到半年的时间里就获利数万元。而被“AI换脸”侵害人脸敏感信息的受害者,不仅包括多位知名公众人物,还有很多不特定的普通人。

据检察机关调查,虞某根据“AI换脸”视频的长度、清晰度等难易条件,按照5分钟300元、10分钟500元等标准来收取定制的费用。虞某声称,“只要能看到脸的都能换”。

杭州市萧山区人民检察院第七检察部检察官助理 陈禹尧:首先这个价格也是他自己定的,再一个初级、中级、高级,可能在这个视频最后完成换脸的效果上有一定的区别。有些人可能一开始购买了初级的教程,初级的一些素材和材料,发现最后达到的效果不能达到他所期望的效果,那么有可能会继续付费去购买一些高级的视频,包括高级教程。

杭州市萧山区人民检察院检察委员会专职委员 章蕾:他通过VIP定制,就是客户提要求“我今天想要把脸换成是谁的脸,你帮我定制一下,我支付相应的报酬”,通过这样牟利的方式。

“定制”换脸对象既有公众人物也有普通人

据检察机关了解,虞某的客户要求“定制”换脸的对象不仅包括一些知名的公众人物,也有生活中的普通人,其中就有人提出想要定制自己暗恋女生的换脸视频,而对于这些未经同意就擅自侵犯他人敏感信息的违法行为,虞某也是来者不拒。

另外,虞某除了进行定制化的换脸服务,还将“AI换脸”软件分为初级、中级和高级三个等级进行销售并传授使用教程,同时还提供网上非法收集的他人人脸素材。

杭州市萧山区人民检察院第七检察部检察官助理 陈禹尧:这个软件的入门的门槛其实是比较低的,它的操作相当于通过一些已经设定好了的运行的程序和代码,相当于我只要按照你的步骤,把需要进行换脸的视频放在它规定的一个文件夹里,或者是按照步骤来进行操作,它自动对你所要替换的人脸视频里面的人脸信息,或者照片里的信息是自动提取,自动建立学习模型进行学习,然后下一步是自动进行合成的。

据检察机关收集的证据显示,虞某创建的众多社交群组中,最少的成员95人,最多的成员达2053人,通过销售换脸淫秽视频以及定制换脸淫秽视频等违法行为,虞某先后收取口令红包200余次,总金额共计6万余元。

除追究刑责

检察机关还提起民事公益诉讼

检察机关认为,作为“AI换脸”技术的使用者,虞某通过传播侵犯公民个人信息的方法和手段,使得更多“不特定主体”个人信息被侵害的社会危险性进一步扩大。因此,杭州市萧山区人民检察院在依法追究虞某刑事责任外,同时还提起民事公益诉讼。2023年7月,杭州互联网法院对这起公益诉讼案进行审理,这也是我国首例关于“AI换脸”侵犯公民个人信息公益诉讼案的审理判决。

2023年4月14日,杭州萧山区人民检察院决定对虞某“AI换脸”侵犯公民个人信息公益诉讼案立案,当日履行公告程序,公告期满,无适格主体提起诉讼。6月9日,检察机关依法对虞某提起民事公益诉讼。7月28日,该案在杭州互联网法院一审公开审理。

在庭审中,检察机关出示了虞某侵犯公民个人信息、损害社会公共利益的详细证据,包括公安机关对虞某所作的讯问、询问笔录、勘验记录、检查记录、鉴定意见,以及淫秽视频1200多部、图片1600多张等电子数据。

杭州互联网法院互联网审判第一庭庭长 肖芄:过去我们常常认为眼见为实,耳听为实,但是随着深度合成技术以及新技术的运用,我们眼见也不一定为实,新技术的不当应用或者是一种滥用,实际上冲击了我们社会公众主体相互之间的信任关系,特别是在互联网空间这样一种建立起来的信任关系。那么对于这种信任关系、社会关系的一种侵害,其实本身也是对社会秩序的一种损害。

杭州互联网法院经审理认为,虞某利用“AI换脸”技术侵犯公民个人信息的违法事实确凿,因此支持检察机关作为公益诉讼起诉人的全部诉讼请求:判令被告虞某删除非法获取的个人信息,公开赔礼道歉、消除影响并赔偿损失共60000元,这些款项将专门用于个人信息保护、人脸深度合成技术不当应用的治理等公益事项。

杭州互联网法院常务副院长 朱敏明:任何一项新技术,首先这个技术它总是有中立性的,那么在技术本身我们是持接纳支持的这种态度,但是技术开发应用的目的,它必须是有利于全人类的公益,不能是为了这个技术,用于个人的非法牟利,然后侵犯其他公民、集体、国家、社会的合法权益,一旦越界了就要承担相应的责任。那么这个案子中因为由检察院来提起公益诉讼,然后法院来依法审判,充分发挥审判司法职能对新技术的规范。

技术无善恶但有边界

须在法律规制内使用

2023年11月,杭州市萧山区人民法院判决被告人虞某犯制作、传播淫秽物品牟利罪,判处有期徒刑七年三个月,并处罚金6万元。

“仅凭几张照片,任何人都可能成为受害者。” 从网络主播换脸女明星直播带货,再到换脸被嫁接到淫秽视频中,滥用“AI换脸”技术实施各类侵犯个人信息的行为时有发生,甚至在灰色领域甚至违法犯罪领域滥用。那么,“AI换脸”技术的法律边界在哪里,又该如何规范和治理呢?

杭州互联网法院互联网审判第一庭庭长 肖芄:我们国家的民法典对于侵害他人,通过深度伪造方式侵害他人人身权益是有明确的规定的,禁止通过深度合成的方式去侵害公民的人身财产权益,这是民法典的规定。随着技术的发展,个人信息保护法对于深度合成也有相关的规定,因为不管是面部的一个替换还是声音的替换,它实际上都需要收集公民的个人信息,那么这些都是属于个人信息保护法特别保护的敏感的生物识别信息。

我国目前除了“民法典”“个人信息保护法”,2023年正式实施的《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》中也明确规定,强调使用者不得利用深度合成服务从事法律、行政法规禁止的活动,要求深度合成服务提供者要落实信息安全主体责任。

注意!“AI换脸”用来搞笑也存法律风险

法官认为, “AI换脸”技术即便只是用来搞笑或者制作恶搞照片,也有可能涉及侵犯肖像权、名誉权,造成严重后果的,还可能构成侮辱罪或者诽谤罪。

而“AI换脸”技术的滥用,看似是对被侵害的个人的人格权、肖像权、名誉权、隐私权的侵害,实际上更是对社会公序良俗的践踏,是对稳定的社会环境和清朗的网络空间的挑战。

杭州互联网法院常务副院长 朱敏明:一项新技术的产生往往专门针对这项新技术的法律法规会有所滞后,但是总的来说我们现在国家整个的法治体系已经相当完善,每个人你哪些行为是可以做的,哪些行为是不可以做的,它的原则性规定都是已经比较健全了。我想正常人都是能够判断得出来的,你去运用这项新技术,你的目的是有益于整个人类,有利于就是人民生活水平的提升,福祉的提升,还是说为了个人谋取不当的利益。那么我就想把握好这个界限,这些新技术都是能够为我们美好生活服务的。

(总台央视记者 张岗 李志贵)



Tags:AI换脸   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
“只要能看到脸的都能换” 滥用“AI换脸”技术伪造女明星涉黄视频 法院判了!
“AI换脸”相信大家都不陌生。只需要一张照片,通过人工智能深度合成技术,任何人都能成为视频中的主人公,甚至连表情和动作都能以假乱真。然而,这项新技术,却让一些人产生了不良想...【详细内容】
2024-03-22  Search: AI换脸  点击:(11)  评论:(0)  加入收藏
ATFX:警惕“AI换脸”诈骗,眼见不一定为实
各位朋友们,请务必提高警惕!最近,福建省一家科技公司的法定代表人郭先生遭遇了令人震惊的诈骗案件。他仅仅接了一通视频电话,就被不法分子骗走了高达430万元的巨款。据了解,2023...【详细内容】
2024-03-15  Search: AI换脸  点击:(17)  评论:(0)  加入收藏
“AI换脸”诈骗防不胜防
转自:北京商报员工被要求向指定账户转账,老板却是AI换脸后的“冒牌货”?就在2月,一则涉案金额高达2亿港元的AI换脸诈骗案引发了高度关注。如果说2023 年是生成式AI的元年,那么202...【详细内容】
2024-03-15  Search: AI换脸  点击:(19)  评论:(0)  加入收藏
Sora来袭AI换脸门槛降低 网络安全公司何以应对新风险?
    本报记者 丁蓉    近期,中国香港警方披露了一起AI(人工智能)“多人换脸”诈骗案,涉案金额高达2亿港元。一家跨国公司香港分部的职...【详细内容】
2024-02-29  Search: AI换脸  点击:(38)  评论:(0)  加入收藏
防范“AI换脸”诈骗 你需要的知识都在这儿了
近年来,随着人工智能技术的进步,一些不法分子开始利用AI技术融合他人面孔和声音,制造非常逼真的合成图像来实施新型网络诈骗,这类骗局常常会在短时间内给被害人造成较大损失。我...【详细内容】
2024-02-28  Search: AI换脸  点击:(28)  评论:(0)  加入收藏
“AI换脸诈骗”如何防范?视频“变脸”相似度达80%!
最近,视频网站上通过人工智能换脸,《亮剑》里的主角用英语飙起了台词,通过小程序用户也可以将自己变成电影里的人物。新技术带来欢乐的同时,也带来了一种名为“AI换脸诈骗”的新...【详细内容】
2023-11-05  Search: AI换脸  点击:(204)  评论:(0)  加入收藏
“AI换脸”或可预防?一起来看高科技如何“打败”高科技
人民网福州9月12日电 (黄东仪、林晓丽)9月11日,由中央宣传部、中央网信办、教育部、工业和信息化部等十部门联合举办的2023年国家网络安全宣传周在福建福州正式拉开序幕。作...【详细内容】
2023-09-12  Search: AI换脸  点击:(265)  评论:(0)  加入收藏
AI换脸诱导欺骗未成年人?短视频平台开展专项整治
“AI换脸”“AI绘图”“一键脱衣”……借助AI等新兴技术,一些有害内容正隐形变异,将隐秘的手伸向未成年人。8月16日,记者获悉,自6月28日起,快手开展为期2个月的未成...【详细内容】
2023-08-17  Search: AI换脸  点击:(114)  评论:(0)  加入收藏
“AI换脸”,515人落网!何种诈骗发案率最高?如何才能“道高一丈”
电信网络诈骗花样翻新 如何守好“钱袋子”?一公司法人代表被骗子利用人工智能“换脸”技术诈骗430万元,某单位一工作人员被“假领导”诈骗近98万元……近期,多起电...【详细内容】
2023-08-11  Search: AI换脸  点击:(144)  评论:(0)  加入收藏
公安部:严打泄露身份证照片等犯罪,破获“AI换脸”案79起
中新经纬8月10日电 公安部网络安全保卫局副局长李彤10日表示,依托“净网”专项行动,组织专项会战,严打泄露身份证照片等图像信息的犯罪源头,破获“AI换脸”案件79起,抓获犯罪嫌疑...【详细内容】
2023-08-10  Search: AI换脸  点击:(370)  评论:(0)  加入收藏
▌简易百科推荐
杀人埋尸的3名未成年人,最高可以判什么刑?
今天上午,检察机关通报邯郸初中生被害案,三名未成年犯罪嫌疑人被核准追诉。3月10日,河北邯郸肥乡区一名13岁中学生被抛尸于蔬菜大棚中,被发现时,脸被铁锹铲得面目全非。犯罪嫌疑...【详细内容】
2024-04-08    中国新闻周刊   Tags:未成年人   点击:(2)  评论:(0)  加入收藏
房子被法院查封后,房东是否应该承担违约金
案件回顾2022年,何某与蒋某(商铺产权所有人)签订《租房合同》,租期为2022年至2025年。该合同约定:租金为年租12万元,一次性支付完毕,合同期内租金不涨价,合同期满再次租赁随行就市。...【详细内容】
2024-04-08    昌吉州中级法院  Tags:违约金   点击:(2)  评论:(0)  加入收藏
未成年人及夫妻一方直播打赏款项如何处理?最高法公开征求意见
据最高人民法院官微4月7日消息,最高人民法院结合审判实践起草了《最高人民法院关于适用<中华人民共和国民法典>婚姻家庭编的解释(二)(征求意见稿)》。其中,关于未成年人及夫妻一方...【详细内容】
2024-04-07    界面新闻  Tags:直播打赏   点击:(4)  评论:(0)  加入收藏
老人生前留遗嘱把所有遗产给女儿,11岁孙女起诉要求分割
余老伯生前留下遗嘱,将所有遗产都留给女儿。在余老伯去世后,孙女小余将姑姑、叔叔等人诉至法院,要求重新分割遗产,理由是爷爷的遗嘱违反了民法典规定的“必留份制度”。澎湃新闻...【详细内容】
2024-04-07    澎湃新闻  Tags:遗产   点击:(4)  评论:(0)  加入收藏
未成年子女名下的房产 离婚时如何确权
本报记者梁平妮□ 本报通讯员 成志宇 王莎婚姻关系存续期间购买的房屋登记在了未成年子女名下,离婚时产权应如何认定?近日,山东省淄博市临淄区人民法院审理了一起房屋所有权确...【详细内容】
2024-04-07    法治日报  Tags:房产   点击:(4)  评论:(0)  加入收藏
《最高人民法院关于适用<中华人民共和国民法典>婚姻家庭编的解释(二)(征求意见稿)》向社会公开征求意见的公告
为正确贯彻实施《中华人民共和国民法典》,统一法律适用,依法保护妇女、未成年人、老年人、残疾人的合法权益,维护婚姻家庭和谐稳定,推动家庭家教家风建设,本院结合审判实践起草了...【详细内容】
2024-04-07    最高人民法院网  Tags:民法典   点击:(2)  评论:(0)  加入收藏
用AI“复活”逝者,伦理和法律的边界在哪?专家解读
AI数字“复活”,您听说过吗?当然,这里的复活是加引号的,简单来说,就是指用逝者生前的照片、视频、文字记录等历史数据,使用人工智能技术、数字化模拟再现已故人物的声音、影像、行...【详细内容】
2024-04-07    澎湃新闻  Tags:AI   点击:(3)  评论:(0)  加入收藏
如何避免“提灯定损”?如何保障租客的权益?律师给您支招
租房时,如何保障租客的权益?1. 签订正式的租房合同:与房东直接签订租房合同,避免与二房东签约,因为房东作为产权人,拥有出租房屋的完全权利。合同中应详细列明租金、押金、租期、...【详细内容】
2024-04-06    南阳新闻广播  Tags:租客   点击:(1)  评论:(0)  加入收藏
律师解读郑爽无财产可供执行:郑爽若故意隐瞒转移财产或被判刑3年
(来源:潇湘晨报)企查查APP显示,近日,郑爽与海宁东开之星影视投资有限公司合同纠纷案新增执行裁定书。文书内容显示,法院认为,经穷尽财产调查措施,该案被执行人郑爽暂无财产可供执行,...【详细内容】
2024-04-02    搜狐娱乐  Tags:郑爽   点击:(6)  评论:(0)  加入收藏
北京法院公布一批信用卡诈骗案,这类型案件占比超七成,如何预防?
界面新闻记者 | 张灵霄近期,信用卡诈骗呈多发高发态势。3月29日,北京高院向社会通报五年来北京法院审理信用卡诈骗案件的有关情况。数据显示,2019年至2023年,北京法院审结一审信...【详细内容】
2024-04-02    界面新闻  Tags:信用卡诈骗   点击:(7)  评论:(0)  加入收藏
站内最新
栏目相关
  • · 杀人埋尸的3名未成年人,最高可以判什么刑?
  • · 房子被法院查封后,房东是否应该承担违约金
  • · 未成年人及夫妻一方直播打赏款项如何处理?最高法公开征求意见
  • · 老人生前留遗嘱把所有遗产给女儿,11岁孙女起诉要求分割
  • · 未成年子女名下的房产 离婚时如何确权
  • · 《最高人民法院关于适用<中华人民共和国民法典>婚姻家庭编的解释(二)(征求意见稿)》向社会公开征求意见的公告
  • · 用AI“复活”逝者,伦理和法律的边界在哪?专家解读
  • · 如何避免“提灯定损”?如何保障租客的权益?律师给您支招
  • · 律师解读郑爽无财产可供执行:郑爽若故意隐瞒转移财产或被判刑3年
  • · 北京法院公布一批信用卡诈骗案,这类型案件占比超七成,如何预防?
  • · 严查违规从事有偿中介活动,中纪委网站披露多起案例
  • · 网购商品有瑕疵 平台与生产商互相推诿,法院这样判决
  • · 儿童驾驶电动游艺车伤人谁担责
  • · 拖欠工资被迫离职 劳动仲裁要准备什么资料?
  • · 一审宣判,陈戌源无期徒刑!庭审现场画面曝光:90度鞠躬道歉,希望得到球迷宽恕
  • · 知名软件创始人自杀,遗言称被妻子索要千万逼死,最新消息:翟欣欣认罪!
  • · 困在车轮上的高薪梦:交租金莫名成了还车贷
  • · 男子参加公司年会酒后身亡,被判自担主责,监控显示其向他人敬酒26次
  • · AI复活已逝明星成生意 未经同意用AI复活明星涉嫌侵权
  • · 最高检检察长应勇谈未成年杀人:符合核准追诉条件的,要依法追究刑责
  • 站内热门
    站内头条