教育数字化知识图谱

近期，OpenAI发布的文本转视频模型Sora引发全球关注，被认为将颠覆视频内容生成方式，也进一步增加了公众识别视频内容真伪的难度。担忧情绪随之衍生。一些业内专家和观察人士表示，这类技术的普及，恐导致深度伪造（Deepfake）内容更加泛滥，造假成本更低廉，进而增加被用于诈骗、色情等违法犯罪活动的风险和隐患。

现实中，AI深度伪造技术的非法使用，已经在一些网络诈骗案件中出现。据媒体报道，今年2月，有诈骗团伙利用深度伪造技术向一家跨国公司的香港分公司实施诈骗，并成功骗走2亿港元，这也是香港迄今为止损失最大的AI换脸诈骗案。

诸如此类的案例越来越多，如何应对深度伪造和AIGC（人工智能生成内容）等新技术带来的安全风险，已成为全球关注的重要议题。

深度伪造已被用于违法犯罪

深度伪造是指技术利用机器的深度学习，实现图像、声音、视频的篡改、伪造和自动生成，产生高度逼真且难以甄别的效果。最常见的方式就是AI换脸，此外还包括语音模拟、人脸合成、视频生成等。

现实应用中，深度伪造技术有其积极一面。业内人士介绍，深度伪造技术开始被用于医疗和教育等领域。比如，通过数据和技术生成立体的身体模型视频，让医生更直观地进行医学诊断和研究；又如，通过技术合成的历史人物影像，让教学视频更有趣味等。

然而，硬币的另一面是深度伪造技术也经常出现在诈骗、色情等违法犯罪活动中。近几年，国内外均出现了利用深度伪造技术实施的诈骗案例，都造成不小的负面影响。

去年5月初，内蒙古包头市公安局电信网络犯罪侦查局发布一起使用AI换脸技术进行电信诈骗的案件。福建省福州市某科技公司法人代表郭先生的“好友”突然通过微信视频联系他，声称自己的朋友在外地投标，需要430万元保证金，想借用郭先生公司的账户走账。基于视频聊天信任的前提，郭先生并未核实钱是否到账，就陆续转给对方共计430万元，之后郭先生才发现被骗。

在香港的那起AI换脸诈骗案中，诈骗者通过搜集一家跨国公司英国高层在视频网站上的公开影像，再利用AI深度伪造技术，给诈骗者换上公司高层的面部和声音，实施诈骗，成功从香港分公司骗走2亿港元。

除了诈骗，深度伪造技术还经常对公众人物造成名誉侵害。今年1月中下旬，香港特别行政区行政长官李家超也成为深度伪造的目标。网上出现了用人工智能伪造的电视节目片段，冒称李家超向市民推介一项高回报的投资计划。特区政府立即严正澄清，称有关影片全属伪造，行政长官从未作出相关言论。

美国歌手泰勒·斯威夫特，最近也深受深度伪造的困扰。近日，这名歌手的大量虚假“不雅照”在社交网络传播，引发关注和议论。这不是她第一次成为受害者。就在“不雅照”事件前不久，一则由AI生成的泰勒·斯威夫特带货广告在海外社交媒体上疯传。这则虚假广告利用深度伪造技术，合成了泰勒·斯威夫特的声音，并将声音及她的形象和某品牌炊具广告片段拼凑在一起，宣称免费向粉丝赠送炊具，引导受害者点击并支付运费，但炊具不会真的送出。

“从技术原理上看，公众人物更容易成为深度伪造的受害者。”奇安信安全专家裴智勇表示，由于公众人物的视频、音频、图片资料的公开性质，为AI训练提供了大量素材，被伪造内容更加逼真，从而更容易导致深度伪造技术被非法使用。

随着Sora等模型的开放和应用，AI换脸技术门槛持续降低，别有用心之人利用深度伪造技术可以更轻易盗用、冒充他人身份，越来越多的普通人恐将成为潜在受害者。

实际上，国内通过对普通人进行AI换脸实施违法犯罪的案例并不少见。2021年，杭州某派出所接到报警，受害人陈某称他在与女网友视频聊天后被对方敲诈勒索。经警方调查，对方利用AI换脸技术，将陈某的面部信息合成到不雅视频中，借此对其实施勒索。2022年8月，古风汉服网红魏某起诉了4家运营AI换脸软件的公司，认为对方在自己未授权的情况下上传包含她肖像的视频作品，生成AI换脸视频，侵犯了其肖像权。

技术发展带来多重安全风险

每个人的声音和相貌都具有独特性，而深度伪造技术正在打破这一边界，致使“眼见、耳闻都不再为实”。

多名专业人士指出，随着AI技术的发展和普及，深度伪造技术被用于违法犯罪活动的比例将提升。“像Sora这类模型工具和相关软件的开发普及，即使是不了解技术的普通人，也能制作深度伪造的内容，而且虚假内容产生的速度更快，也更难被人眼识别。”裴智勇说。

普通人接触和使用AI换脸技术的门槛的确在降低。记者调查发现，尽管“AI换脸”“换脸”等关键词已被多个电商平台屏蔽，但通过“定制视频”等更隐蔽的关键词，仍能找到出售换脸软件、定制换脸视频及教授换脸技术的卖家。在某电商平台，一名卖家通过视频教授AI换脸技术，还提供代码脚本网页，收费只要39.9元。这名卖家告诉记者，根据他发的视频教程就能学会AI换脸操作。卖家提供的教学内容显示，用户根据指引，完成登录、提取脸部数据、训练模型、换脸输出视频等步骤，能轻松实现AI换脸视频制作。

相对当下一些AI换脸软件多适用于拍照场景、影视剧片段的替换合成，这一卖家教授的换脸技术更能“为所欲为”：用于换脸的照片不受限制，可合成的视频片段也不局限于影视作品，包括新闻、私人影片等都可被AI换脸。

“这些游走在法律边缘的AI技术黑灰产业链，大大增加了技术被恶意使用的风险，给公共安全带来更多隐患。”一名互联网企业的网络安全专员表示，现实中，甚至有一些金融机构人脸识别防护墙都被AI换脸骗过，社会安全风险陡增。随着Sora等大模型技术的开发和应用，能实现用更少的人脸数据构造高逼真的特定人脸模型，客观上降低了不法分子制作虚假人脸视频的成本。

目前来看，深度伪造被用于诈骗等犯罪活动的风险不断显现，并呈现日益严峻的趋势。“利用深度伪造内容实施诈骗，实际是传统的诈骗手法利用了新技术的一种混合诈骗方式。从诈骗剧本来看，还是传统的冒充熟人、冒充领导等套路，但其中的面部仿真、声纹仿真使得被害人放松警惕，更容易被骗。”裴智勇说。

结合具体的犯罪案例分析，一名反诈民警告诉记者，深度伪造用于电信诈骗犯罪活动主要表现在三个方面：其一，骗子通过骚扰电话录音等来提取某人声音，获取素材后，利用AI技术进行声音合成，而后用伪造的声音欺骗被害人。其二，骗子用AI换脸技术，伪装成被害人的熟人，再通过视频通话方式，进行信息确认，骗取信任。其三，骗子利用AI程序筛选受害人，分析公众发布在网上的各类信息，根据所要实施的骗术对人群进行筛选，在短时间内便可生产出定制化的诈骗脚本，从而实施精准诈骗。“例如实施情感诈骗时，可以筛选出经常发布感情类信息的人群；实施金融诈骗时，可以筛选出经常搜索投资理财信息的人群等。”

除了网络诈骗，深度伪造技术的普及，势必将提升虚假音视频的“真实度”，业内人士担心，这或将助长不法分子发展出更多新型犯罪手段，用于金融诈骗、虚假新闻、色情制作、司法干扰等非法场景。

更进一步，深度伪造技术应用不当还会带来更深远的社会危害。华东政法大学刑事法学院副教授房慧颖认为，深度伪造技术产生的虚假影像、声音等内容，不仅会让个人名誉、财产和人身受到损害，还会冲击社会信任、媒体信任，甚至被用于扰乱社会秩序甚至危害国家安全的违法犯罪活动。“深度伪造技术可以利用真实和虚假的信息相糅合来达到欺诈目的，随着其被推广和大量应用，不可避免地会带来信息失真与泄露等严重后果。”房慧颖分析说，这种现象会使得公共信息处于真实与虚假混杂、界限模糊的窘境，加剧社会公众对政府组织、新闻媒体的不信任，从而引发社会信任危机。

由此可见，深度伪造等技术发展应用，对于传统和非传统安全，都将造成越来越大的冲击。

技术和法律共同引导向善

尽管深度伪造等AI技术发展带来了全新的挑战，但受访者们都认为，不能就此因噎废食，而要坚持安全与发展并重的理念，通过完善制度和管理，实现促进技术革新和控制技术风险的目的。

“在技术进步的过程中，其本身就可以用来对抗深度造假行为。”裴智勇说，政府要善于用技术制约技术，加快打造深度伪造信息检测系统。“政府和企业要投入科研力量，研究基于AI生成内容的鉴伪技术，在必要时刻，使政府、企业和公众有能力借助工具进行鉴伪。”

此外，有受访者建议，应要求AI合成内容服务商添加对用户可见的数字水印，来告知用户该图像、音视频内容是由AI生成，以增加用户辨别信息真伪的能力。也有网络技术人员建议，让AI深度伪造技术的服务平台、公司推行隐形水印机制，通过在视频、音频和图像中嵌入不可见的水印保护信息，以快速识别AI合成内容并进行溯源，各个社交平台也应以技术手段加强对于疑似AI生成图、文、视频内容的识别功能。

除了技术解决方法外，法律手段也要有所作为。“总体来看，我国在深度伪造方面的规范性立法做得相对较早。”房慧颖表示，我国主要从信息真实性、肖像权、个人信息保护以及国家安全等层面，对AI深度伪造技术的应用进行立法规制。

2019年11月，我国便出台了《网络音视频信息服务管理规定》，对网络音视频服务的使用者和提供者均提出要求，即利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播非真实音视频信息的，应当以显著方式予以标识，不得利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播虚假新闻信息。

2023年1月10日，我国首部深度合成领域的专门法规《互联网信息服务深度合成管理规定》施行。该规定要求，深度伪造服务提供者应向有关部门报告非法深度伪造、提供追索机制、提供水印免责声明等，服务使用者应依法告知人脸被编辑的个人并取得其单独同意。

2023年7月，我国颁布的《生成式人工智能服务管理暂行办法》，进一步明确将对生成式人工智能服务进行“分类”和“分级”监管，深度伪造服务的提供者必须对使用该产品生成的内容负责等。“加之此前出台的网络安全法等系列法律法规，可以说我国已经为人工智能建构了多元化监管格局，实现了多维谱系法律法规协同治理。”房慧颖说。

放眼全球，美国和欧盟等也都对规范深度伪造技术进行了法律尝试。据介绍，美国参众两院先后提出了侧重点各异的《深度伪造责任法案》《2018恶意深度伪造禁止法案》《2019年深度伪造法案》《2020财年情报授权法案》四部法案。欧盟则于2022年6月更新《反虚假信息行为准则》，要求社交媒体从其平台上删除深度伪造新闻和其他虚假信息，打击深度伪造和虚假账户，并对违反者处以最高达全球营业额6%的罚款。目前，欧盟正在推进的《人工智能法案》也明确了深度伪造技术的提供商将受到透明度和披露要求的约束。

深度伪造等AI技术发展，是推动社会进步的动力。如何引导技术向善，是一个需要各方共同探讨和破解的难题。受访者们普遍认为，各国应加强交流合作，通过技术和法律等手段，规避人工智能技术带来的风险隐患，使之健康有序发展。（来源：解放日报）