盘和林:衡量AI发展可信、可控的标尺有三个维度
创始人
2025-09-17 21:41:04
0

封面新闻记者 易弋力

9月15日,在2025年国家网络安全宣传周主论坛上,《人工智能安全治理框架》2.0版(以下简称《框架》2.0版)正式发布。此前,为落实《全球人工智能治理倡议》,《人工智能安全治理框架》1.0版(以下简称《框架》1.0版)于2024年9月发布,并受到国内外广泛关注。

《框架》1.0版发布到现在,人工智能技术和应用取得了哪些新突破?如何理解《框架》2.0版提到的“安全、可信、可控”等关键词? 9月17日,工信部信息通信经济专家委员会委员盘和林分享了他的观点。

盘和林表示,自《框架》1.0版发布以来,人工智能技术在多模态大模型、自主智能体(AI Agent)、具身智能等领域取得显著进展。多模态模型已实现文本、图像、音频、视频的跨模态生成与理解,自主智能体具备复杂任务规划和工具调用能力,人工智能与机器人结合的具身智能正在突破物理空间限制。同时,AI在生物医药、材料科学等垂直领域的应用深度不断增强。

这些发展也带来了新的安全风险,比如:新型滥用风险:深度伪造技术泛滥导致虚假信息传播难度降低,AI生成内容鉴别难度加大;系统级风险:自主智能体可能产生不可预测的涌现行为,多智能体交互可能产生复杂系统风险;产业安全风险:AI在关键基础设施领域的应用加深,使得单点故障可能引发系统性风险;伦理挑战升级:生成式AI的偏见嵌入更加隐蔽,算法歧视从显性转向隐性。面对这些变化,《框架》2.0版应运而生。

《框架》2.0版具体对哪些“规矩”进行了更新?盘和林表示,《框架》2.0版从静态治理到动态治理:要求建立适应技术迭代的敏捷治理体系,比如设置"监管沙盒"等弹性机制,将创新应用放在沙盒中进行观察,调整监管治理体系。从单一维度到多维治理:统筹技术安全、伦理安全、社会安全等多维度治理要求,而不是单一的网络安全维度。这样能够更加全面的应对当前技术发展带来的安全风险。从事后治理到前瞻治理:比如建立风险预警机制,对前沿技术方向进行预研预判,针对性的制定新规则。

具体来看:《框架》2.0版将要应对生成式AI带来的内容安全挑战,比如深度伪造技术的以假乱真的问题。将规范自主决策系统的责任认定机制,比如智驾撞人,责任在谁。将推动建立适应大模型即服务(MaaS)模式的新型监管体系。将平衡开源开放与安全可控的关系。

《框架》2.0版提到,培育安全、可靠、公平、透明的人工智能技术研发和应用生态。如何理解这四个关键词?

盘和林表示,安全:指AI系统应具备韧性抗扰能力,保障数据安全、模型安全和应用安全,建立端到端的安全保障体系。我认为这是一个多维度成体系的安全机制。可靠:要求AI系统行为可预期、输出稳定性和准确率高,在关键领域达到工业级可靠性标准。这里的关键在于精度,我们知道现在AI大模型存在幻觉,未来会要求AI大模型不断减少幻觉。公平:强调算法决策应避免偏见歧视,保障不同群体获得均等机会,实现技术普惠包容。技术应该带来公平,而不是新的贫富差异。透明:包含可解释性与可追溯性双重含义,既要实现决策过程可理解,又要确保数据来源可追溯。不能到处都用技术黑箱来搪塞用户,而是要给用户解释明白,我们的数据去了哪里,AI又是怎么辅助人类的。

《框架》2.0版还有两个关键词是“可信、可控”,衡量AI发展可信、可控的标尺在哪?

在盘和林看来,衡量标尺有三个维度:技术层面:我们可以通过验证测试(如红队测试)、形式化验证等方法量化安全性,也可以通过可信数据空间技术,联邦学习等安全技术,来控制安全变量,建立技术上的整套安全保障体系。要给示范方案。伦理层面:建立多维度评估矩阵(包括公平性、隐私保护、人性尊严等指标),这里就要提到,谁有权来对伦理下判断,我认为,应该是用户,所以,需要从用户中筛选一部分人,来对创新进行伦理评价。治理层面:实施分级分类管理,根据风险等级匹配相应监管强度,不同的应用具备不同的风险等级,不能一刀切,要分级分类的处置风险。

对于什么是AI可信,盘和林表示,预测决策可解释(提供人类可理解的决策依据),行为输出一致性(相同输入产生预期范围内的输出),错误率可控(在关键领域达到99.99%以上的准确率),偏见可控(通过偏见检测和缓解技术确保公平性)。

如何实现AI可控?设置人类监督节点(保留人类最终决策权),建立行为边界约束(通过宪法AI等技术设定行为边界),实现全生命周期监控(从训练到部署全程可审计)。

相关内容

热门资讯

一分钟了解!牛牛房卡制作链接星... 一分钟了解!牛牛房卡制作链接星驰娱乐/房卡价格表多少钱一张星驰娱乐是一款非常受欢迎的游戏,咨询房/卡...
给大模型生图“去油”,腾讯混元... IT之家 9 月 17 日消息,腾讯混元今晚通过官方公众号发文介绍,其生图团队在 9 月 10 日发...
IA解析/金花房间怎么创建皇豪... 皇豪互娱房卡更多详情添加微:33549083、 2、在商城页面中选择房卡选项。 3、根...
腾讯云副总裁李学朝:企点营销云... 面对“增量”转向“存量”的新常态,企业正普遍陷入“增长焦虑”。9月17日,在2025腾讯全球数字生态...
AI眼镜火了,杠杆资金加仓这些... 新兴科技领域牛股辈出。 AI眼镜火了 今年以来,科技股走势强劲,尤其是基于产业发展大逻辑的题材,表现...
奇安信与广西共建人工智能安全研... 人民财讯9月17日电,据奇安信集团公众号,9月17日,第22届中国—东盟博览会暨中国—东盟商务与投资...
沙龙预告 | 科学共同体如何塑... 科学共同体如何塑造未来叙事? |时间| 2025年9月20日(周六)14:00-16:00 |地点|...
合肥工投工业科技:以精细化管理... 近年来,合肥工投工业科技聚焦国企深化改革、落实新发展理念,牢牢抓住重点领域和关键环节改革“牛鼻子”,...
华为发布十大技术趋势 展望智能... 【太平洋科技快讯】9 月 17 日,华为通过其官方网站发布了题为《智能世界 2035》的前瞻性报告。...
盘和林:衡量AI发展可信、可控... 封面新闻记者 易弋力 9月15日,在2025年国家网络安全宣传周主论坛上,《人工智能安全治理框架》2...
特别关注|新船交付,从这艘船看... 今治造船建造的1艘2080TEU集装箱船近日被列入马士基船队名单。 这艘名为“MAERSK NOTO...
炜烨智算亮相2025服贸会,与... 为了进一步推动AIGC技术演进路径与产业化落地,9月12日,中国国际服务贸易交易会(服贸会)人工智能...
威腾电气获得发明专利授权:“一... 证券之星消息,根据天眼查APP数据显示威腾电气(688226)新获得一项发明专利授权,专利名为“一种...
革新生物材料力学测试!加拿大C... 专为软组织与生物材料研究打造的高精度、可视化力学分析平台 在生物医学工程、材料科学及再生医学研究...
亚洲教育装备博览会在杭州开幕 ... 中新社杭州9月17日电 (林波 孙琳茹)第十一届亚洲教育装备博览会17日在浙江杭州开幕,吸引来自近2...
点亮“科技蓝”第十三届科博会筹... 会场外 ●城区8处大型LED显示屏已同步点亮科博会主题画面 会场内 ●九洲体育馆场地设施设备维护检测...
中航光电公布“一种屏蔽结构、端... 天眼查APP显示,近日,中航光电科技股份有限公司申请的“一种屏蔽结构、端子模块及背板连接器”专利公布...
中国电信以科技之力 助推农业创... (图片来源:摄图网) (记者 林婉玲)“我国农业科技创新整体水平现在已经进入了世界第一方阵。”日前...
海南文昌国际航天城卫星超级工厂... 9月17日,记者从海南文昌国际航天城建设现场获悉,作为航天城重要配套的卫星超级工厂项目当前已进入建设...
金砖会议:周鸿祎预判工业专业智... 勇砺商业评论 阿桶观察 曾宪勇 2025年9月16日,360集团创始人周鸿祎在厦门举办的2025金砖...