6月30日,华为正式宣布开源盘古70亿参数的稠密模型、盘古Pro MoE 720亿参数的混合专家模型和基于昇腾的模型推理技术。
华为表示,此举是华为践行昇腾生态战略的又一关键举措,推动大模型技术的研究与创新发展,加速推进人工智能在千行百业的应用与价值创造。
而盘古Pro MoE 720亿参数混合专家模型则采用混合专家架构(MoE),通过动态路由机制分配计算资源,在保持模型规模的同时显著提升推理效率。
目前,盘古Pro MoE 72B模型权重和基础推理代码均已上线开源平台。
同时,此次开源不仅包含模型本身,还提供了基于昇腾AI的专用推理优化技术。华为表示,针对超大规模MoE模型的昇腾优化推理代码也将于近期发布。
消息发布后,开源社区与产业界反响积极。有业内专家分析指出,华为此次开源行动将产生深远影响。一方面,70亿参数的稠密模型和720亿参数的混合专家模型组合,为不同规模的企业提供了灵活的技术选择;另一方面,基于昇腾平台的深度优化将帮助开发者更高效地部署大模型应用。这有望推动我国AI产业生态的快速发展,提升在全球人工智能竞争中的话语权。