人工智能会威胁我们的生活吗?网络安全周给出全新应对措施

央视网消息:2025年国家网络安全宣传周正在全国范围内举行。在云南昆明的主会场,昨天(15日)下午进行的网络安全技术高峰论坛上,《人工智能安全治理框架》2.0版发布,和去年9月发布的1.0版相比,这版框架有哪些变化呢?

国家互联网应急中心副主任 刘博:框架2.0在1.0的基础上进行横向拓展和纵向加深,结合人工智能技术发展趋势与应用实践,持续跟踪风险演变,迭代完善分类体系,探索分级路径,优化防范治理措施。

据了解,近年来人工智能技术和应用飞速发展,赋能千行百业。与此同时,人工智能安全风险的表现形式也在同步演进变化。《人工智能安全治理框架》2.0版对相关风险进行了梳理调整,并更新了防范治理措施。

在治理原则上,框架2.0版新增提出“可信应用、防范失控”的原则。推动形成涵盖技术防护、价值对 、协同治理等多层面的可信人工智能基本准则,确保技术演进安全、可靠、可控,严防威胁人类生存发展的失控 险,确保人工智能始终处于人类控制之下。

同时,框架2.0版还新增了人工智能安全风险的分级原则和可信人工智能基本准则。

国家互联网应急中心副主任 刘博:该部分为框架2.0新增的专题性内容,划分5种风险级别,明确风险定级的基本思路。提出8项可信人工智能基本准则,包括人类最终控制、尊重国家主权、价值观对齐、提升系统透明度、促进可客观验证、强化安全防护、前瞻预防应对和全球协同共治。

模拟演示AI大模型遭受网络攻击

人工智能大模型如今已应用到很多场景下,不少企业都进行了部署,用来辅助各项工作。但是这类大模型安不安全?被攻击会出现什么情况?同样在云南昆明主会场举行的网络安全博览会上,技术人员也给记者进行了展示。

参展商技术人员 王明耀:这里模拟了一个企业部署的一个大模型,现在看到这个大模型是可以正常运行的,然后攻击者通过扫描发现这个大模型的一个暴露的API接口。攻击者利用这个未鉴权的漏洞就接管了这个大模型。

技术人员告诉记者,一旦攻击者接管大模型,就能够在后台实时监控大模型的运行,查看大模型对话过程中的所有信息。

参展商技术人员 王明耀:如果员工在和AI对话中,传输了一些敏感信息的话,通过远程都可以直接获取到。这样就很容易造成企业敏感信息的泄露。

技术人员介绍,一旦攻击者接管了大模型,很有可能会进一步进行网络攻击,投放勒索病毒等,严重的还有可能向大模型进行数据投毒。

参展商技术人员 王明耀:控制了大模型之后,攻击者就可以对大模型进行篡改了。确实可以对大模型进行污染,或者是其他一些比较敏感的操作。

对此,技术人员也提醒,企业在内部部署大模型的时候,要严格管控权限,不能在没有防护的情况下,就将大模型接入互联网,避免因为存在漏洞等问题,而被不法分子攻击。

无矿之城“炼金术”江西贵溪打造国家级制造业集群主阵地一线观察

无矿之城“炼金术”江西贵溪打造国家级制造业集群主阵地一线观察稿件来源 新华每日电讯产业本报记者孙越江西贵溪——一座没有铜矿的“铜都”。近年来,贵溪以科技创新和智能制造为抓手,持续推进数字化转型,实现铜加工由粗到精的提升、由量到质的跨越。投产头3年,企业为国家创造产值为32.25亿元

细分人工智能安全风险 提供应对措施

此次发布的《人工智能安全治理框架》2.0版针对安全风险进行了细化分类,并提出了技术应对和综合治理措施。

框架2.0版将安全风险细化为技术内生安全风险,技术应用安全风险和应用衍生安全风险三类。

技术内生安全风险主要增加了模型开源风险,强调基础模型的开源可能会为不法分子训练“作恶模型”提供便利。技术应用安全风险则增加了污染网络内容生态等具体类型,提出,模型输出的低质不良信息,经网络扩散传播、模型循环引用,会造成网络内容质量的整体下降,甚至特定领域、话题的内容污染。

应用衍生安全风险方面内容增加较多,主要是冲击劳动就业结构、挑战资源供需平衡、加剧科研伦理风险等。其中指出,“人工智能+科研”降低了生物、基因等高伦理风险科研领域的进入门槛,拓宽了普通科研机构、人员探索敏感科学问题的边界,个别科研伦理意识不强的机构、人员可能开展违背社会伦理、社会禁忌的高风险研究活动,打开科技“魔盒”。

对此,框架2.0版共制定了30个技术应对措施和14个综合治理措施。

比如,针对信息内容安全方面,强调要建立安全护栏,对输入输出进行动态过滤,防止恶意注入和违法内容生成,避免人工智能系统违法违规输出敏感个人信息和重要内容。并要求对人工智能生成内容进行标识,实现可识别、可追溯、可信赖。

国家互联网应急中心副主任 刘博:在管理方面,框架2.0新增提升全生命周期安全能力,安全有效释放重要行业应用需求,构建科技伦理准则,增进协同应对失控风险共识等综合治理措施。

反制无人机“黑飞” AI算法快速定位

除了人工智能应用带来的安全问题之外,无人机“黑飞”“乱飞”等行为近年来也不断发生。在网络安全博览会的现场,参展商就向记者展示了一套针对“黑飞”“乱飞”的反制组合拳。

在模拟的一个无人机“黑飞”的现场。瞄准、射击,很快,这台“黑飞”的无人机就迫降到了地面。技术人员手中的正是他们研发的便携式无人机反制枪。

参展商技术人员 何应彪:目前我们自研的无人机反制枪配备了6个频段,能够基本上覆盖市面上商用无人机和自制穿越机的反制。

与反制枪配套的,还有一套先进的无人机侦测定位系统。通过对无人机与控制器之间的信号进行截取,再加上系统内置的AI算法,这套系统能够很快地确定无人机的识别码、经纬度等信息,并推送到管控平台上。

参展商技术人员 何应彪:识别码相当于这个无人机的身份证。我们通过识别码可以溯源到这个无人机的持有者。这套平台最关键的功能,就是定位到了飞手的经纬度信息。通过飞手的经纬度信息能够定位到飞手的位置。通过追踪飞手的功能,协助公安机关去找寻“黑飞”无人机的飞手,对打击“黑飞”“乱飞”的行为作出有力支撑。

据了解,这套系统对自制无人机也同样能够实现有效的侦测和反制,目前在上海、安徽等地部分公安机关已经应用。

(0)
上一篇 3小时前
下一篇 2022年11月18日

相关推荐