今天分享的是：2024大模型行业可信应用框架研究报告

报告共计：55页

《2024大模型行业可信应用框架研究报告》由蚂蚁集团和中国信息通信研究院联合发布，探讨了大模型在专业领域应用的可信需求、面临的挑战以及提出了相应的可信应用框架。

1. 背景和需求

- 加速落地激发可信需求：大模型技术发展迅速，为各产业带来升级可能性，其通用性和泛化性赋能众多应用场景。目前大模型落地应用集中在容错率高、任务简单的场景，向复杂容错率高的场景渗透时面临可信应用问题，行业亟需可信应用框架。

- 可信内涵丰富：可信人工智能涵盖技术准确性、安全性、鲁棒性、可解释性，以及伦理和社会影响等多方面。不同视角关注侧重点不同，如功能视角关注准确性等，伦理道德视角关注公平性等，应用交互视角关注可控性等。

- 专业领域应用关注要素

- 专业性：专业领域知识和业务流程复杂，大模型需准确理解术语内涵、推理逻辑和操作流程等。

- 可控性：决策需有科学严谨的方法和依据，大模型推理过程要可解释、可追溯，输出结果可被审核和干预。

- 真实性：对推理结果的真实性和准确性要求高，需基于真实数据，部分场景还要求实时性。

- 安全性：涉及高价值数据，需确保自身安全，符合业务合规性要求，防止数据泄露和恶意攻击。

2. 可信应用挑战

- 模型技术能力不足

- 专业知识问题：学习和更新成本高，存在时滞性，知识更新需重新训练或微调，且专业场景逻辑推理和数值运算能力不足。

- 推理过程不透明：内部推理过程是“黑箱”，难以解释决策依据，无法直接应用于复杂推理任务，可控性不足。

- 幻觉问题：会生成缺乏事实依据的虚假内容，难以自纠，可能导致专业领域应用出现严重错误。

- 安全保障缺乏：全生命周期面临风险，缺乏系统性安全分析与措施，如存在安全漏洞可能导致模型滥用和数据泄露。

- 保障体系构建不全

- 缺乏系统化解决方案：仅靠大模型自身难以满足专业领域要求，需结合其他技术，但目前行业缺乏全面系统的解决方案指南。

- 行业保障不完善：规模化可信应用需依赖技术升级、健全的产业合作、统一标准体系和完善评估机制。目前行业合作框架需构建，标准和规范存在空白，评测验证机制不完善。

3. 可信应用框架

- 总体视图：包括提供高质量数据供给、增强模型专业能力、提升内容生成可信、基于智能体提升复杂任务处理可信、实施安全措施保障、进行全面评测以及构建“反馈 - 迭代”循环体系等部分，以提升大模型在专业领域应用的可信度。

- 技术实现

- 数据供给质量提升：数据分为通识通用数据、领域通用数据和领域专有数据。提升数据质量的方法包括增加多样性和丰富度、实现全面完善的数据处理方式以及建立持续的数据质量评估机制。

- 模型知识专业增强：通过知识工程抽取领域专业知识，结合领域数据集和知识图谱，采用增量预训练、有监督微调等方法注入专业知识，并进行价值对齐，同时可提供模型描述文档提升透明度。

- 内容生成可控可信：采用检索增强生成技术结合外部知识库提升内容生成质量，对大模型进行工具学习训练使其学会调用外部工具，利用围栏工具对输入和输出进行监控和审查。

- 智能体提升复杂任务处理可信：智能体范式可拓展大模型应用范围，通过规划与推理、工具调用、任务执行等能力提升处理复杂任务的能力和推理可控性与透明性，还可通过人机交互确保决策质量和安全，多智能体协同可进一步提升推理可信程度。

- 新安全范式保障可信：针对大模型应用的新风险引入安全范式，如依托安全平行切面技术，通过原生安全范式引导建设基础底座安全保障，包括OVTP可溯范式和NbSP零越范式，确保访问可追溯和关键控制点不被绕过。

- 反馈迭代提升体系：建立高效反馈机制，结合持续集成等流程提升快速响应能力，通过体系建设提升过程管理能力，包括数据和案例反馈、模型和领域数据集优化、评估和验证以及场景拓展和深化等环节。

- 应用系统评测验证：构建全面评测体系对大模型进行评测，可采用“模块化评测”+“端到端评测”的思路

以下为报告节选内容

报告共计： 55页

中小未来圈，你需要的资料，我这里都有！