教育数字化知识图谱

文 | 西安交通大学法学院、人工智能与信息安全法律研究中心 副教授 王新雷；西安交通大学法学院硕士研究生 唐琳玲

生成式人工智能（Generative Artificial Intelligence，GAI），是指以大模型为重要组成部分的一系列生成文本、图片、音频、视频等内容的技术和方法的总称。以大型语言模型为例，因其具备处理和生成复杂数据模式的能力，成为 GAI 常用的一种工具或技术手段。伴随着计算机技术和深度学习算法的快速迭代，人工智能（AI）领域已从传统的依赖数据驱动完成特定任务转变为通过 GAI 完成复杂且具有创造性的任务。未来十年，AI 技术在军事、信息技术、网络安全以及经济领域的发展将带来全球范围内的深刻变革。

然而，在提高社会运转效率的同时，GAI 也给国家安全带来了新的挑战。从意大利以非法收集个人数据为由禁用 ChatGPT，到美国在选举前夕要求将社交平台上由 AI 生成的内容进行标记等一系列事件，均表明 GAI 的安全风险正受到各国越来越多的关注。因此，系统地审视并尽快制定应对策略，以解决 GAI 对国家安全构成的新挑战具有重要意义。

一、生成式人工智能的发展现状与特点

2022 年，以美国 OpenAI 公司推出的 ChatGPT 为代表的 GAI 大模型，能够根据用户的具体要求完成多样化的复杂任务，标志着人工智能从认识、理解问题到生成、创造新知的跨越。自 ChatGPT 问世以来，各大互联网公司也纷纷推出了自己的 GAI 大模型，例如谷歌推出的 Google Bard、百度推出的 ERNIE Bot 等。2024 年初，OpenAI 推出的文生视频大模型 Sora，能够根据用户的文本提示创建逼真的视频，达到深度模拟真实物理世界的效果，再次引起广泛关注。

目前 GAI 已被广泛用于各领域，其与传统 AI 技术相比，具有训练数据海量化、强大的学习能力和生成能力、功能运转多模态化等特点。

（一）训练数据的海量化

生成式人工智能模型依赖于大量的数据。在训练模型时，GAI 服务提供商主动收集各类平台上的数据，通常涉及各种开源存储库，包括公共数据库、社交媒体平台和在线论坛等，这些不同的数据来源为 GAI 训练提供了大规模和多样化的数据集。然而，大量数据的收集也带来了隐私问题，因为用于训练的数据中可能包含私有内容，这意味着生成的内容中可能会含有用于训练的敏感信息。此外，训练数据被储存于终端设备中，也增加了模型和数据被恶意窃取的风险。

（二）强大的学习能力和生成能力

作为一种深度学习技术，GAI 使用了多层构建人工神经网络，模拟人类大脑的神经元网络结构。这种神经元网络是受人脑结构和功能的启发而设计的计算模型，由人工神经元的互联层组成，其中神经元节点可以对数据进行处理和转换，通过多层神经网络，数据的特征被持续地提取和抽象化。在深度学习技术的推动下，深度生成模型已经成为一类基于现有数据生成新内容的先进深度学习模型。因此，GAI 能够自主处理大量高度复杂的数据，进而做出智能决策，同时快速生成满足用户个性化需求的高质量内容。以 ChatGPT 为例，其擅长理解和处理各种形式的输入文本，包括指令、新闻和文章，并能有效地提供高质量、连贯、语法准确的自然语言响应，同时根据用户提供的信息定制个性化方案，展现出极强的交互性。

（三）生成内容质量的不确定性

虽然 GAI 能够生成与人类创造几乎无法区分的内容，但有时其生成的内容可能不正确或与要求不相关。GAI 在学习过程中对反馈数据进行查询，主要是基于大型数据集和统计模式的相关性，因此，其生成内容的质量在很大程度上取决于训练数据的质量。在数据集的选择和处理过程中，诸如非代表性、不平衡采样、不正确标记和误测特征等因素都会妨碍 GAI 模型的无偏差训练，最终可能导致算法结果出现偏差。因此，仔细选择适当的数据集和模型以减轻偏差风险至关重要。

（四）生成过程的不可预测性

AI 的“智能”体现在其能自动从已知数据中学习和探索某些模式及规则，并将其应用于新数据。对于用户来说，相应的输入和输出是清晰可知的，但过程却不透明，即所谓的“黑箱效应”。从技术角度来看，AI 系统的可预测性是基于其过去、当前和未来行为之间的一致性来评估的。而操作的可预测性受到大量变量的影响，如系统的技术特征（例如，它是在线还是离线学习系统）、部署环境的特征、系统之间的交互以及操作员对系统工作方式的理解程度等。这些变量可能会以多种方式发生变化并相互作用，使得预测 AI 系统可能执行的操作及其产生的影响变得复杂。在特定的操作环境下，系统的可供性越复杂，其在部署时可能表现出的不可预测行为范围就越广。

因此，GAI 的不确定性将可能导致无法控制的结果。除了生成内容的真实性容易受到质疑外，当普通用户缺乏对真伪不明内容的辨识能力时，GAI 可能会生成高度似真而实际虚假的内容，从而欺骗用户。

（五）功能运作的多模态化

AI 的多模态是指利用不同的神经网络处理各种类型的数据，并通过“数据融合”技术将这些数据整合在一起，以便无论输入的类型如何，都能生成通用的响应。与传统的 AI 不同，后者仅能处理单一模式的数据，例如声音识别系统只能处理声音数据，图像识别只能处理图像数据。随着 AI 技术的发展，现代的多模态 AI 能够像人类大脑一样同时处理文本、图像、语音等不同模式的数据。GAI 是典型的多模态 AI 代表，它能够解读用户输入的文字、图片和文件，并根据用户的需求提供综合性的回答。

多模态 AI 能够快速适应各种下游认知任务，随着更多感官模式被纳入多模态预训练，以及对更先进的基础模型的进一步探索，GAI 将对各领域产生广泛的影响。目前，GAI 大模型已经涉及文本、代码、音频、3D、分子发现等多个方面，成为合成新的虚拟工件或增强半合成工件的关键技术。

二、生成式人工智能对国家安全的主要挑战

GAI 具备的革命性特点在提升生产力的同时，也带来了新的国家安全威胁，包括泄露国家机密、传播虚假信息以及威胁网络安全等。

（一）泄露国家机密

数据输入泄露国家机密。 在使用大数据模型的过程中，GAI 可能会从用户输入的信息中访问、吸收并记忆敏感信息，进而在模型训练和内容生成时利用这些信息，从而导致隐私数据的泄露。目前，缺乏严格的法律规范来监管数据管理的透明度，GAI 的生成过程对用户而言类似于一个“黑匣子”，很难进行审计或数据验证，这阻碍了对潜在隐私威胁的识别和预防，使得无法充分评估敏感数据风险。当用户选择使用 GAI 时，其决定主要基于对隐私政策的阅读，但可能并不了解数据暴露的真实程度。当意识到时，数据可能已经被披露。这种缺乏透明度和意识滞后的情况增加了用户对其隐私的担忧，也对保护国家机密构成了重大威胁。倘若国家重要领域的相关人员在使用过程中不慎输入敏感信息，将直接导致国家机密被泄露。同时，间谍也可故意泄露国家机密，并在事后以不知情为由脱罪。

分析开源数据输出情报。 随着传感器的普及和大量数据集的可用性，GAI 被用于整理和融合来自各种传感器和信息源的数据，并通过筛选来检测和识别异常并提供见解，以提高对态势的认识和支持决策。此前，英国信息专员办公室（ICO）发布的《网络爬取个人数据训练生成式人工智能模型的合法依据》征求意见稿中指出，通过网络数据爬取收集数据是一种“隐形处理”的活动，被爬取者不会意识到自己的个人数据以这种方式被处理，因此，无法行使数据保护法赋予的权利。间谍组织利用这种隐秘性恶意爬取数据后，通过大数据分析便可能获取重要的情报信息，如秘密军事基地、政府重要官员的敏感信息等。而当非法爬取获取的数据被传输出境后，被爬取的国家便失去了对该部分数据的管理权和对境外数据的自主控制权，这为国家安全埋下了重大隐患。

目前，美国情报机构已开始试验自己的 GAI 程序，中央情报局（CIA）正准备推出一项类似 ChatGPT 的大模型，使分析师能更好地获取开源情报，并与其他国家开展新的情报较量。

（二）生成虚假信息

深度伪造是一种利用 AI 等新兴技术操纵音视频、图像或文本内容的技术，其目的是产生误导效果。深度伪造最初主要用于娱乐目的，但后来逐渐演变为网络犯罪的工具，如近年来频发的利用伪造声音和人像进行的电信诈骗案件。在 GAI 高速发展的背景下，深度伪造技术在一些安全领域表现出被武器化的趋势。基于 GAI 的深度伪造技术极易创建出看似真实但实际虚假的内容，用以恶意诱导，从而危害国家安全和社会稳定。2024 年 1 月，世界经济论坛发布的《2024 年全球风险报告》将“AI 衍生的错误信息和虚假信息及其对社会两极分化的影响”列为未来两年的十大风险之首。在当今时代，数据和信息是各个领域的关键资源，识别、检测和区分在线内容的真伪变得至关重要。

干扰选举。 随着 AI 技术的广泛应用，当今的选举也进入了“AI 时代”。“技术影响政治”这一话题被摆在了前所未有的突出位置。一些利益集团或个人利用深度伪造技术制造社会舆论或对竞争对手进行政治攻击。例如，发布一些对手发表不当言论的视频，引起公众对政府的怀疑，从而操纵舆论和干预选举。例如，在 2023 年末的阿根廷大选中，双方都公开使用了大量由 GAI 生成的内容，以抹黑竞争对手并为自己助选。在这些风波当中，互联网与 GAI 技术被用于操纵民众舆论的规模之大、隐蔽性之高，若对此类行为发现不及时、解决不到位，将会引起严重的政治后果。

恶意国际竞争。 GAI 在紧张的国际局势中也能起到“推波助澜”的作用。具有竞争关系的国家之间可能会利用这项技术创造看似更可信、具有恶意影响的外国运动，通过伪造视频和图像的方式试图破坏对手国家的人民对其政府和社会的信任。二战结束后，舆论战便代替了军事战争，在国与国的竞争中占据了主导地位。在信息时代，舆论战可谓是没有硝烟的战争，其对国家安全、意识形态安全、文化安全都将产生一定的影响。借助 GAI，有关国家能够利用数据投毒等手段生成缺乏真实性和正义性的信息，并借助舆论进行传播，以达到国际竞争的目的。

（三）造成网络安全新威胁

随着 GAI 的快速发展，越来越多的黑客将这项技术用于犯罪活动，导致网络攻击案件频发。一些非法的大语言模型不受道德和法律的约束，能够生成用于网络攻击的恶意软件等工具。例如，被称为 ChatGPT 的黑帽替代品 WormGPT，目前已使用超过 60 亿个参数，并且利用大量与恶意软件相关的数据或犯罪内容进行了训练，成为最新的AI 网络犯罪工具。网络攻击者利用 GAI 开发新工具，能够实现更快、更有效、更隐蔽的大规模网络攻击。

网络攻击对关键基础设施的威胁最应值得关注。恶意行为者可能利用 GAI 破坏或干扰与物联网技术或物联网工业系统相关的活动。物联网技术、自动驾驶汽车、智能城市和相互连接的国家关键信息基础设施的广泛使用将暴露出大量安全漏洞。黑客可能会利用网络攻击几乎不可见的特性，通过 GAI 和大数据分析来识别最脆弱的基础设施，并选择最佳时机发动最具灾难性的攻击。如果 GAI 生成的有毒数据被传递到关键传感器，可能会引发如服务中断或系统关闭等下游影响。例如，核电站作为高度关键的基础设施，一旦受到攻击，可能会导致无法控制的核事故，造成巨大的危害。对于一些商业性的基础设施而言，这一挑战更加危险，因其不受政府控制，安全性可能较低，也更容易受到攻击。

（四）影响民众意识形态

首先， 模型复杂的内部工作原理使得人类很难完全理解它们如何做出某些决定或预测，从而无法有效地控制系统行为，并确保它们遵守人类定义的道德原则。 其次， 大模型由人类提供的数据进行训练，但人类在行动和决策中并不总是客观和理性的，这可能导致偏见的产生。在有偏见或歧视性的数据上训练的 GAI 模型可能会在其输出中延续甚至放大这些偏见，并在无意中向用户传播有害的行为和歧视性的做法，从而导致对个人或社会产生有害或不公正的结果。

除了从用于训练的数据中获取偏见以外，不法分子还利用数据投毒使 GAI 生成一些缺乏真实性和正当性的信息，以潜移默化地影响人们的思想观念。例如，利用 GAI 制造和散布谣言，发布颠覆国家政权、煽动分裂、发动恐怖袭击等危害国家安全的煽动性言论。在舆论爆炸式发展的当代社会，这将严重影响社会治理。

三、应对生成式人工智能对国家安全的挑战

在 GAI 技术迅猛发展的背景下，国家安全面临前所未有的新型挑战。为确保技术进步和国家安全的统一，完善国内立法和促进国际合作显得尤为重要。

首先，加强国内立法，完善治理框架。 在鼓励 GAI 发展的同时，应当对安全风险进行深入研判。网信办发布的《生成式人工智能服务管理暂行办法》，虽然重点聚焦于对个人安全和行业安全的保障，但对于如何保障国家安全尚未作出系统专门的规定。为有效应对国家安全面临的威胁，我们应结合《国家安全法》《网络安全法》《数据安全法》《科学技术进步法》等现行法律，制定更具针对性和操作性的专门规定。例如，要求大模型的开发者和部署者报告其训练数据的来源和使用情况，以及及时清理可能危害国家安全和社会稳定的有害信息等。

其次，加强国际协作，促进全球治理。 国际协作对于形成有效的全球治理机制至关重要，我国应继续积极参与和主导全球 AI 治理。2024 年，我国参与主导了《中法关于人工智能和全球治理的联合声明》《人工智能全球治理上海宣言》等人工智能治理倡议，这些倡议特别强调国内的 AI 立法应与国际监管框架有效衔接和呼应。面对 GAI 带来的安全威胁，国际协作应从以下方面着手：加强国际网络安全合作，防止跨国黑客攻击与恶意软件应用；在尊重国际和国内法律框架的前提下，共同打击操纵舆论、编造与传播虚假信息的行为；合作防范恐怖主义、极端势力和跨国有组织犯罪集团利用 AI 从事非法活动等。

在 GAI 快速迭代和产生颠覆性、革命性效应的进程中，安全应与发展并重。在 GAI 技术和产业发展的同时，应当重视提升其安全性、可靠性、可控性和公平性。

来源：中国信息安全