每个人都能拥有有检测AI造假的“照妖镜”了! 清华系独角兽初创公司,发布了面向个人的产品级检测工具,可以让AI伪造的图像、音频和视频现出原形。 而且无需上传素材,在网页和视频会议中就能主动探测内容和人脸真伪,并实时给出提示。 该工具由清华大学朱军教授与学生田天博士等一同创立的瑞莱智慧(RealAI)打造,名字叫做“尊嘟假嘟”,英文名RealBelieve。 随着视频生成模型质量的不断提高,辨别AI造假也越来越困难,为此,团队基于深度学习技术,构建了一整套多模态、多角度的AIGC检测技术体系。 “尊嘟假嘟”正是在这套技术之上建立,目前已开启内测招募,通过申请后即可体验。 吃瓜群众的“AI照妖镜” 从背景和人脸的替换,到利用AI模型让人做出指定的表情或动作,AI造假可谓是防不胜防。 一方面,不法分子利用AI炮制虚假内容,对受害者个人声誉和社会舆论都带来了极大的不良影响; 另一方面,AI造假也被用于诈骗活动,不仅损害被冒充者的信誉,也给受骗者带来巨大的财产损失。 今年年初,就有不法分子利用深度伪造制作了一场假的视频会议,骗走了一家公司1.8亿元的巨款。 除了正确引导和加大打击力度,让用户能够更好地判别信息真伪,也是一种重要的防护手段。 过去的AI造假检测工具主要面向专业人士,而且往往需要将内容提取后上传到检测平台中,才能进行判别。 但如果只是普通的网络视频,让吃瓜群众用这样的流程去鉴别真伪,难免显得有些繁琐。 所以在支持上传检测的同时,“尊嘟假嘟”还能主动进入视频流,用户一边吃瓜,系统就能一边判断这瓜到底“保不保熟”。 比如一进入Sora的宣传页面,系统就会针对网页里的Demo视频做出提示标注,提醒浏览者该视频“AI含量”极高。 另外针对AI诈骗日益猖獗的情况,尊嘟假嘟也支持视频通话当中进行AI合成实时监测防护。 在视频通话时,同样无需截取视频上传,尊嘟假嘟会及时主动给用户发出预警内容,提示视频对方的人脸是否存在AI合成的风险。 实时的风险提示可以帮助用户及时调整聊天方式,快速确认对方的身份,减少不必要的损失,让用户随时随地在“AI安全保障”下进行视频通话。 AI造假与防伪的“猫鼠游戏” 针对“尊嘟假嘟”背后的技术原理,瑞莱智慧联合创始人、算法科学家萧子豪透露,该产品背后的检测模型基于贝叶斯深度学习技术开发。 团队构建了一整套多模态AIGC检测技术体系,能够挖掘并建模多模态、多层次、多角度的AI合成线索,度量真假差异,并进行不确定性推理决策。 实际上,造假手段与防御方式之间,一直在进行着一场“猫鼠游戏”。 起初的AIGC内容还是“一眼假”,然后再“进化”一些之后,多加注意也依然能够通过常识进行肉眼判别,比如视频中人物的眨眼频率不合常理、部分区域的衔接不够自然等等。 但随着AIGC能力的升级,这些“常识”也逐渐被模型所掌握,靠肉眼鉴别也越来越困难了,于是检测手段也在进化,人们开始研究用机器学习的手段进行分析。 比如通过对目标内容的信号频谱进行分析,或者对图像中的噪声进行检测,挖掘内容当中的“AI痕迹”。 但这场你追我赶的争斗从未停止,一方面的原因是,用来检测AI的模型本身也是个AI,伪造者可以通过对抗训练的方式规避检测、见招拆招。 相对于造假而言,鉴别的手段似乎往往是滞后的。所以,瑞莱智慧在研究检测算法的同时,也会针对自己的方法进行防御性攻击,争取让检测走在造假的前面。 实际上,瑞莱智慧团队早在2018年成立之初,主要的研究目标就是AI合成检测技术,先后推出面向专业人士的AI内容检测平台DeepReal、人脸AI安全防火墙RealGuard等相关产品并持续迭代升级。 纵观整个行业,AI安全问题都备受关注,深度学习教父Hinton,还有ChatGPT的发明者、OpenAI前首席科学家Ilya,都一直在呼吁人们关注AI安全。 就在这两天,Ilya刚刚宣布创立了一家公司,研究的就是安全超级智能。 不过相比之下,Ilya的公司,似乎更加关注的是AI的未来,而在现在,对AI造假的判别和检测依然是一项紧迫的任务。 PS:目前,尊嘟假嘟RealBelieve已开启内测招募。通过申请后,便能试用上述功能,感兴趣的读者可以通过评论区置顶链接报名。 本文来源:量子位 |
原创栏目
IT百科
网友评论
聚超值•精选