当前,人工智能拟人化互动服务凭借强交互性、情感代入性的核心优势,已深度融入文化传播、情感陪伴、养老服务等多元场景,成为人工智能技术应用的重要方向,为经济社会发展注入新动能。但与此同时,内容失范、隐私泄露、沉迷依赖、边界模糊等风险隐患也随之凸显,既制约行业健康发展,也对社会治理提出新挑战。
近日,国家互联网信息办公室公布《人工智能拟人化互动服务管理暂行办法(征求意见稿)》(以下简称《办法》),回应了行业发展痛点与社会治理关切,为拟人化互动服务划定了发展边界、明确了行为准则,是规范行业秩序、防范化解风险的重要制度保障。
一、筑牢全链条安全屏障,强化风险防控与特殊群体保护
(一)划清安全底线,明确禁止性规定
底线思维是拟人化互动服务发展的前提,《办法》从内容安全、应用服务、数据和信息保护三个核心维度,明确了禁止性规定,为行业划定不可逾越的法律与道德红线。内容安全方面,《办法》提出人工智能拟人化互动服务提供者(以下简称提供者)严禁生成传播危害国家安全、破坏社会秩序的内容,坚守国家利益与公共秩序底线;严禁生成传播侵害他人合法权益、违背公序良俗的内容,筑牢公民权益与道德准则防线。内容的质量高低、安全与否主要取决于训练数据,同时提出在开展预训练、优化训练等活动时,要加强训练数据管理。应用服务方面,《办法》提出禁止提供者利用功能设计、算法操纵等方式,向用户提供严重影响用户行为、损害用户身体健康、人格尊严与心理健康或诱导用户作出不合理决策的服务。数据和信息保护层面,《办法》提出禁止提供者以拟人化互动服务为掩护,诱导、套取敏感信息;要求提供者采取数据加密、安全审计、访问控制等技术措施保障用户交互数据安全,并支持用户删除数据;未经用户或监护人单独同意,不得将用户交互数据、用户敏感个人信息用于模型训练或向第三方提供。
(二)直击重点风险,精准破解行业痛点
拟人化互动服务凭借高仿真情感链接、个性化人设适配、全天候陪伴等核心特点,更容易让用户产生深度情感绑定与认知混淆,进而诱发多重风险。一是用户易过度倾诉、依赖拟人化互动服务提供的情绪价值,逐渐减少现实社交,陷入沉迷依赖。二是拟人化互动服务的迎合式回应,会强化用户偏执、消极等思维,放大极端情绪。部分存在算法缺陷的拟人化互动服务还可能生成危险引导内容,对心智不成熟者或心理脆弱群体构成自杀自残诱导风险。三是拟人交互形态更容易让用户模糊虚拟与现实边界,出现分不清AI与真人的认知偏差,甚至影响现实人际关系与心智健康。
(三)聚焦特殊群体,强化差异化保护
二、统筹发展安全协同,构建多元治理与标准支撑体系
(一)鼓励创新应用,平衡发展安全关系
拟人化互动服务在文化传播领域的优质内容创作、适老化场景的陪伴照料、教育领域的个性化辅导等方向,已逐渐展现出社会价值,但部分应用因缺乏安全措施,出现内容导向偏差、服务模式不规范等问题。对此,《办法》提出,鼓励提供者在充分论证安全性、可靠性的前提下,合理拓展应用场景,重点在文化传播、适老陪伴等积极领域深化应用,构建符合社会主义核心价值观的应用生态体系。这一规定既肯定了拟人化互动服务的正向价值,也明确了“安全优先”的创新准则,引导行业将创新聚焦于合规场景与正向价值输出,实现发展与安全的有机统一。
(二)压实主体责任,凝聚多方治理合力
拟人化互动服务治理并非单一主体的责任,而是需要政府、企业、行业协同发力。《办法》清晰界定各方权责,构建起“企业主责、监管协同、行业自律”的多元治理格局,确保治理效能最大化。一是压实企业主体责任。企业是拟人化互动服务的提供者,也是风险防控的第一道防线。《办法》要求提供者落实安全主体责任,既要建立全流程安全管理制度,对服务设计、运行、升级、终止等全生命周期开展安全设计和风险防控,也要主动履行算法备案、安全评估、风险报告等合规义务,及时响应用户合理诉求,筑牢安全发展基础。二是明确监管部门职责。针对拟人化互动服务跨领域、跨场景的特点,《办法》延续了网信部门统筹协调、多部门分工协同的监管机制,网信部门和各有关部门依据职责分工,聚焦拟人化互动服务的重点场景与突出风险,开展常态化监管。此外,网信部门每年对评估报告和审计情况进行审核,并指导推动人工智能沙箱安全服务平台建设,确保将“动态风险”纳入“常态化监管”。三是强化行业自律作用。行业组织是连接政府与企业的桥梁纽带,在规范行业秩序、推动政策落地中具有重要作用。《办法》鼓励相关行业组织加强行业自律,建立相关标准、准则和管理制度,引导企业主动对标合规要求,形成“自我约束、自我规范”的良性发展氛围。
(三)完善标准体系,细化《办法》管理举措
作者:郝春亮 中国电子技术标准化研究院网络安全研究中心人工智能安全部主任、高级工程师