美国成立人工智能安全研究所联盟，汇集200余家机构
美国成立人工智能安全研究所联盟，汇集200余家机构
2024年2月8日，美国商务部部长雷蒙多宣布成立美国人工智能安全研究所联盟（AI Safety Institute Consortium，AISIC）。该联盟隶属于美国国家标准与技术研究院（NIST）下设的人工智能安全研究所（USAISI）。
该联盟汇集200多家科技企业、高等院校、金融组织和政府机构等单位，包括谷歌、英伟达、美国银行、麻省理工学院、兰德公司等。旨在为AI测量和相关政策制定基于科学和经验的指导方针和标准，以支持安全可信的AI的开发和部署。元战略深度观察，探讨美政府新成立的AI安全研究所联盟。
01
成立背景
2023年10月30日，美国总统拜登签署了一项关于AI的行政命令——《关于安全、可靠和可信的AI行政命令》，为AI建立安全和隐私保护标准，并要求开发人员对AI新模型进行安全测试。该联盟旨在对该行政命令中概述的优先事项做出贡献，包括制定AI系统的红队测试、能力评估、风险管理、安全和安保以及合成内容水印的指导方针。该联盟成员包括多家处于创建和使用最先进AI系统和硬件前沿的成员公司和组织、美国最大的公司和初创企业、正在建立对AI如何以及将如何改变社会的基本认识的社会团体和学术团队，以及深入参与当今AI应用的专业代表。该联盟是美国政府迄今为止成立规模最大的AI测试和评估团队，将致力于为AI安全的新测量科学奠定基础。此外，AISIC还包括美国州和地方政府以及非营利组织，并将与志同道合的国家组织合作，这些组织在开发可互操作的有效全球安全工具方面发挥着关键作用。
02
联盟职能
NIST长期以来一直与私营和公共部门合作，拥有可靠、实用的AI测量和标准解决方案。在此基础上，NIST将通过AISIC与研究者合作，为这项重要工作提供有力的支持。具体来说，联盟将履行以下职能：
1
知识和数据共享：
为AI利益相关者建立知识和数据共享空间，促进信息交流和互通。
2
跨学科研究与开发：
通过实施研究计划，促进协作和跨学科合作研究与开发。
3
了解AI对社会和经济的影响：
优先考虑研究和评估要求及方法，以便全面、有效地了解AI对美国社会和经济的影响。
4
促进技术和数据合作：
推动联盟成员之间的合作开发以及技术和数据转让。
5
简化联邦机构AI安全投入：
确定合理的机制，以简化联邦机构职权范围内对AI安全的投入。
6
评估和评价AI系统：
对AI测试系统和原型进行评估和评价，为未来的AI测量工作提供依据。
为创建一个持续联合研究和开发的方式，AISIC的工作将是公开和透明的，并为有关各方提供一个枢纽，以共同建立可信和负责任的AI的测量科学。
03
联盟的5大工作组
2023年11月17日，NIST举办了一场AI安全问题相关的研讨会。通过此次研讨会，NIST初步列出了AISIC的5大工作组，联盟成员可参与其中：
1
第1工作组：生成式AI的风险管理
1. 为生成式AI开发AI风险管理框架（AI RMF）的配套资源；
2. 制定针对联邦机构的最低风险管理指南；
3. 落实AI区域管理框架。
2
第2工作组：合成内容
确定现有的标准、工具、方法和实践，以及可能制定的有科学依据的进一步标准和技术，以认证内容并跟踪其来源；标记合成内容，如使用水印；检测合成内容；防止AI生成器制作未经同意的真实个人的图像；测试用于上述目的的软件；以及审核和维护合成内容。
3
第3工作组：能力评估
1. 创建评估和审核AI能力的指南和基准，重点关注AI可能造成危害的能力，如化学、生物、辐射和核（CBRN）、网络安全、自主复制、物理系统控制等领域的能力；
2. 开发并协助确保测试环境（如测试平台）的可用性，以支持开发安全、可靠和值得信赖的AI技术。
4
第4工作组：红队测试
制定适当的指导方针，包括适当的程序和流程，使AI开发人员，特别是两用基础模型的开发人员，能够进行AI红队测试，以便部署安全、可靠和值得信赖的系统。
5
第5工作组：安全和安保
协调和制定与双重用途基础模型的安全和安保管理有关的准则。
在这些活动中，NIST预计将把社会和技术方面的考虑因素纳入整个工作组的活动中，以确保能有效开发出安全可信的AI系统。
联盟的初期活动包括：举办研讨会，将利益相关者聚集在一起讨论这些关键议题；创建测试环境、数据集、指南和框架，为AI安全奠定基础；在NIST和联盟成员为实现更安全的AI未来而努力的过程中，不断进行报告和努力，描述所取得的进展和面临的挑战。此外，AISIC成员将收到人工智能安全研究所团队关于如何参加工作组的说明。
04
联盟成员工作领域
1. 制定新的指导方针、工具、方法、协议和最佳实践，以促进行业标准的发展，从而以安全、可靠和值得信赖的方式开发或部署AI。
2. 为识别和评估AI能力制定指南和基准，重点关注可能造成危害的能力。
3. 制定方法，将安全开发实践纳入生成式AI，包括对双重用途基础模型的特殊考虑，其中包括与评估和管理模型的安全性、保障性和可信性有关的指南；与保护隐私的机器学习有关的指南；以及确保测试环境可用性的指南。
4. 开发测试环境并确保其可用性。
5. 为成功的红队测试和保护隐私的机器学习提供指导、方法、技能和实践。
6. 制定数字内容认证指南和工具.
7. 为AI工作人员的技能制定指导和标准，包括风险识别和管理、测试、评估、验证和确认（TEVV）以及特定领域的专业知识。
8. 探索社会与技术交叉的复杂性，包括人类如何在不同情况下理解和使用AI的科学知识。
9. 为理解和管理整个生命周期中AI参与者之间的相互依存关系制定指南。
此外，联盟成员将在以下一个或多个领域贡献技术专长：
1. 数据和数据文档
2. AI计量学
3. AI管理
4. AI安全
5. 值得信赖的AI
6. 负责任的AI
7. AI系统设计与开发
8. 部署AI系统
9. AI红队测试
10. 人与AI的合作与互动
11. 测试、评估、验证和确认方法
12. 社会技术方法
13. AI的公平性
14. AI的可解释性和可理解性
15. 劳动力技能
16. 心理测量学
17. 经济分析
18. 通过NIST的AI风险管理框架，支持和展示实现安全可信的AI系统路径的模型、数据、产品
19. 为联盟项目提供基础设施支持
20. 为联盟研究人员、网络研讨会、讲习班和会议以及在线会议提供设施空间和托管服务
05
结 语
安全、合乎道德、负责任地部署AI，同时识别和降低AI带来的风险，对于打造未来的AI至关重要。通过汇集政府、行业和学术界不同的领军声音，AISIC创造了一个独特的机会，以应对AI安全挑战，并建立一个强大、有弹性和负责任的AI生态系统，以确保安全地获取AI技术的巨大潜力。AISIC的成立体现了美国政府对于AI技术发展的战略重心，即在推动AI快速发展与应用的同时兼顾AI安全、标准和伦理等全面性。通过整合私营和公共部门的力量，AISIC能够多角度地审视AI的发展，并为相关政策的制定提供更为全面的参考依据。
联盟成员名单
#1
科技、网络和技术公司：
亚马逊、AMD（美国超威半导体公司）、Anthropic（AI初创公司）、苹果公司、思科系统公司（网络解决方案供应商）、数据机器人（AI公司）、谷歌、惠普、Hugging Face（AI公司）、Inflection AI（AI公司）、英特尔、Meta、微软、英伟达、OpenAI、Palantir（初创科技公司）、高通、Stability AI（临时会员）、Adobe（美国电脑软件公司）、Alteryx（美国计算机软件公司）、AmpSight（美国软件公司）、Anika Systems Incorporated（美国软件公司）、Autodesk（领先的设计软件和数字内容创建公司）、Casepoint（美国软件公司）、Credo AI（软件公司）、CrowdStrike（电脑安全技术公司）、Digimarc（技术公司）、德拉蒙德集团（专门认证AS2软件的组织）、Eightfold AI（软件公司）、Elder Research（数据科学研究公司）、Fortanix（数据安全公司）、门路解决方案（美国软件公司）、GitHub（软件项目托管平台）、Hitachi Vantara Federal（信息服务公司）、Hypergame AI（网络安全公司）、IBM、ObjectSecurity（信息安全公司）、OpenPolicy（政策情报和参与技术平台）、OWASP（AI交流和法律硕士应用程序10强）、赛富时（互联网企业）、赛仕软件（美国跨国软件研发公司）、SandboxAQ（软件公司）、Scale AI（软件公司）、科学应用国际公司（技术公司）、Robust Intelligence（美国软件公司）、SonarSource（软件公司）、TensTorrent（美国电脑硬件生产商）、Trustible（AI治理技术提供商）、Aspect实验室（安全服务公司）、BABL AI（AI系统审计公司）、Workday（软件公司）、Civic Hacker LLC（技术服务公司）、Cohere（AI公司）、Cranium AI（AI安全提供商）、Databricks（软件公司）、Dataiku（AI公司）、Enveil（隐私增强技术公司）、Gladstone AI（AI公司）、是德科技（电子公司）、Kitware（软件公司）、Leela AI（软件公司）、Magnit（软件公司）、SaferAI（AI风险管理公司）、stackArmor（计算机安全服务公司）
#2
金融和咨询公司：
美国银行、美国地区金融公司（美国银行控股）、花旗集团、花旗人工智能、国际信托技术公司、摩根大通、万事达、奥尼尔风险咨询与算法审计公司（ORCAA）、埃森哲（爱尔兰咨询行业跨国企业）、埃森哲人工智能研究院、Ardent（管理咨询公司）、博思艾伦咨询公司、德勤、暗狼解决方案、DLA Piper（律师事务所）、EBG顾问（战略和管理咨询公司）、安永会计师事务所、毕马威会计师事务所、普华永道、Subtextive（AI咨询和服务）、先锋领航（投资管理公司）、Visa、富国银行、Wintrust金融公司、Guidepost Solutions（咨询服务公司）、Knexus Research（AI解决方案公司）、Lucid Privacy Group（隐私解决方案公司）（临时成员）、Lumenova AI（AI风险管理公司）、Manatt, Phelps & Phillips（律师事务所）、MarkovML（信息服务公司）、Touchstone Evaluations（评估公司）、Vectice（数据科学文档解决方案公司）
#3
政府机构：
医疗保险与医疗补助服务中心（美国政府机构）、美国加利福尼亚州技术部、美国堪萨斯州信息技术服务办公室、美国堪萨斯州信息技术服务办公室
#4
高校、科研机构、非营利组织和智库：
AFL-CIO技术研究所（临时成员）、艾伦人工智能研究所、美国大学科戈德商学院、美国银行政策研究所、贝勒医学院、国会技术大学、卡内基梅隆大学、人工智能治理中心（牛津大学）、人工智能风险与脆弱性联盟、人工智能医疗联盟、亚特兰大大学中心学术联盟、效益数据信托（美国非营利组织）、BSA | 商业软件联盟（商业软件保护组织）、新美国安全中心、人工智能安全中心、美国安全与新兴技术中心、民主与科技中心、克利夫兰医学中心、健康人工智能联盟（CHAI）（临时成员）、公用抓取基金会、康奈尔大学、网络风险研究所、数据与社会研究所、德雷塞尔大学、杜克大学、杜肯大学卡尔格雷芬斯泰特伦理学中心、电子隐私信息中心（非盈利组织）、埃勒瑟人工智能研究所、埃默里大学、美国科学家联盟、自由软件基金会（非盈利组织）、前沿模式论坛（由微软、OpenAI、谷歌和Anthropic创建的行业组织）、金融服务信息共享与分析中心（FS-ISAC）、隐私权未来论坛、乔治梅森大学、佐治亚理工学院研究院、EqualAI（非营利组织）、FAIR研究所（非营利组织）、FAR AI（非营利组织）、人因与人体工程学协会、人道智能（非营利组织）、印第安纳大学、信息技术产业委员会、美国防务分析研究所、进步研究所（智库）、电气和电子工程师学会（IEEE）、国际金融研究所、爱荷华州立大学人工智能转化中心（TrAC）、约翰霍普金斯大学、Linux基金会、民权与技术中心领导力会议教育基金、麻省理工学院林肯实验室、全美公平住房联盟、美国零售联合会、纽约公共图书馆、纽约大学、俄亥俄州立大学、俄克拉荷马大学社会挑战数据研究所（DISC）、美国国家科学基金会人工智能气候和沿海海洋学中值得信赖的人工智能（AI2ES）、人工智能合作伙伴关系（PAI）、普林斯顿大学、普渡大学治理与负责任人工智能实验室（GRAIL）、兰德公司、Redwood Research Group（AI安全研究所）、负责任的人工智能研究所、美国三角研究所（提供研究和技术服务的非营利组织）、斯克里普斯学院、SecureBio（美国生物安全非营利组织）、美国精算师协会研究所、美国软件与信息产业协会、国际斯坦福研究所（研究机构）、斯坦福以人为本的人工智能研究所、斯坦福基金会模式研究中心、斯坦福监管，评估和治理实验室、StateRAMP（非营利组织）、得克萨斯农工大学、UnidosUS（非营利组织）、UL研究机构（安全科学研究组织）、奥尔巴尼大学、纽约州立大学研究基金会、纽约州立大学布法罗分校人工智能和数据科学研究所、纽约州立大学布法罗分校嵌入式自主和机器人中心、得克萨斯大学圣安东尼奥分校（UTSA）、马里兰大学学院帕克分校、美国圣母大学、匹兹堡大学、南卡罗来纳大学人工智能学院、南加州大学、美国国家银行协会、威奇托州立大学国家航空研究所、威廉马什赖斯大学、锡拉丘兹大学、ForHumanity（非营利组织）、LA Tech4Good（非营利组织）、MLCommons（AI工程联盟）、Queer in AI（AI社区）、TrueLaw（工业法律人工智能研究实验室）
#5
其他：
英国石油公司、AiandYou、阿尔塔纳（德国化学公司）、波士顿科学（美国医疗器械制造商）、阿波罗研究公司、Beck's Superior Hybrids、Backpack（心理健康医疗公司）、美国BSI集团（弗吉尼亚培训中心）、Canva（悉尼在线设计公司）、迪尔公司（美国农机公司）、CivAI、贝克曼库尔特（医学领域中仪器设备、试剂、应用软件开发和制造商）、EDM理事会、Elicit、Erika Britt Consulting、Exponent、FISTA、Gryphon Scientific（安全和防御战略公司）、西班牙技术和电信合作伙伴（HTTP）、Imbue、凯撒医疗集团、模型评估与威胁研究（METR，前身为ARC Evals）、Modulate、MongoDB（数据库管理系统）、新闻卫士（反击虚假信息的透明工具）、诺思罗普·格鲁曼公司（美国军工生产厂商）、辉瑞（制药公司）、Preamble、Taraaz、汤森路透传媒集团（临时会员）、Trufo
免责声明：本文转自元战略，原作者Zoie Y. Lee。文章内容系原作者个人观点，本公众号编译/转载仅为分享、传达不同观点，如有任何异议，欢迎联系我们！
转自丨元战略
作者丨Zoie Y. Lee
研究所简介
国际技术经济研究所（IITE）成立于1985年11月，是隶属于国务院发展研究中心的非营利性研究机构，主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题，跟踪和分析世界科技、经济发展态势，为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号，致力于向公众传递前沿技术资讯和科技创新洞见。
地址：北京市海淀区小南庄20号楼A座
电话：010-82635522
微信：iite_er