推理性能提升13倍!百度智能云发布昆仑芯超节点
创始人
2025-04-26 19:41:01
0

4月25日,以“模型的世界,应用的天下”为主题的Create 2025 百度AI开发者大会在湖北武汉召开。会上,百度集团执行副总裁、百度智能云事业群总裁沈抖分享了百度智能云在智能基础设施建设方面的最新成果,并在算力、模型及应用等方面发布一系列全新产品。

大模型的高效落地亟需从底层算力到应用的全栈、系统级支撑——既需高性能硬件与集群优化,也需灵活的开发工具链与场景化解决方案。基于多年在大模型研发与产业落地的深厚积累,百度智能云构建了新一代系统级智能基础设施,为企业大模型应用落地提供最佳解决方案。

沈抖表示,系统的价值,不仅是解决某一个问题,而是让企业拥有创造“创造的能力”。企业可以结合自己的数据、流程、逻辑,利用百度智能云的系统级能力打造企业专属AI基础设施。

百舸+昆仑芯超节点:推理性能提升13倍、成本降低95%

算力是AI时代的“新电力”。百度智能云通过自研昆仑芯P800芯片及百舸大规模推理加速能力,实现算力性能与成本的双重突破。

本次大会,百度正式点亮了昆仑芯P800的三万卡集群。在金融行业,招商银行与百度智能云基于昆仑芯P800展开算力合作,能稳定支持各类开源大模型,性能表现卓越,在智能客服、多模态数据分析等场景实现了显著效能提升。目前,除了招商银行这类金融机构,昆仑芯P800算力已在国家电网、中国钢研等央企,同济大学、北京大学等高校及一批互联网企业进行规模化部署。

为了进一步降低算力使用成本,百度智能云正式发布昆仑芯超节点。

昆仑芯超节点支持把64张昆仑芯AI加速卡放到同一个机柜,实现单节点的超强性能,一个机柜就能顶过去100台机器。与以往的方案相比,昆仑芯超节点用更快的机内通信替代机间通信,可以有效降低带宽成本,最终实现卡间互联带宽提升8倍,单机训练性能提升10倍,单卡推理性能提升13倍。 

百度智能云全面升级百舸推理加速能力。通过大规模分布式推理的PD分离,百舸支持客户根据不同场景的业务特点,自适应地设置PD配比,并做到token级别的PD负载均衡。针对MOE模型,百舸做到了大规模多机专家并行的极致优化,可以大幅降低MOE模型推理的通信开销。最后,百舸对核心链路上的每一个细节做了系统级的工程优化,大幅提升GPU的有效利用率。

从百度内部实践来看,百舸推理加速的能力正在作为千帆的算力底座,为40万客户提供服务。上线以来,千帆的推理吞吐提升20倍,推理速度提升50%以上。在外部,百舸不止支持着像招商银行、中国石化、长安汽车等企业的超大规模算力需求,也很好地支撑着创企客户、伙伴的模型训练、推理需求。

为企业应用开发提效!千帆发布智能体Pro及MCP服务

企业部署大模型,不仅需要高性价比的模型服务,更需要全面的模型工具。在模型服务层面,目前千帆平台上有超过100多个模型,不仅包括文心4.5Turbo、文心X1 Turbo等百度自研模型,还包括DeepSeek、Ilama、Vidu等第三方模型,服务稳定、可靠。在模型开发层面,千帆平台可以提供全面的模型开发工具链,支持深度思考模型、多模态模型的定制、精调。 

在应用开发上,本次大会千帆平台全面升级了企业级Agent开发工具链,发布了全新推理式智能体——智能体Pro,从快问快答升级到深思熟虑,并且支持每个企业定制自己的专属智能体。以污水宝为例,基于千帆Agentic RAG能力,让Agent结合企业自己的私域数据和企业知识库,可以基于对任务的理解去制定检索策略,大幅降低模型幻觉。同时,智能体Pro也支持Deep Research深度研究模式,能让Agent自主完成复杂任务的步骤规划、信息筛选和整理,支持像人一样操控电脑浏览网页(computer use)进行探索式知识收集,也支持像人一样使用多种工具绘制图标、撰写,生成结构清晰、内容丰富的专业报告。

基于DeepResearch能力,荣耀正在利用千帆平台,面向高校学生、职场白领等群体,打造一款科研场景深度研究的应用,将很快会在荣耀笔记本上上线。 

MCP的出现,帮助开发者和企业在开发Agent时,能够更好地利用行业数据和工具。本次大会,百度智能云正式发布国内首个企业级MCP服务,第一批已经有超过1000个MCP Servers 供企业及开发者灵活选择。另外,开发者也可以在千帆上开发自己的MCP Server,并发布到MCP广场,支持免费托管,而且百度搜索也会索引这些MCP Server,让它们被更多的开发者引用。  

从模型服务到应用开发,企业客户已经在千帆平台上做出了很多行业创新。民生银行与百度智能云合作,探索大模型在商业银行的落地,完成了金融领域第一个端到端涵盖算力、平台、模型、应用四层架构的项目落地。

自研AI应用升级:实现营销全旅程服务,视觉AI应用成本大幅下降

百度智能云打造的智能基础设施也支撑着百度自己的应用创新。本次大会,百度智能云面向智能营销、视觉AI两大领域,升级了两大自研AI应用产品。

金融营销场景需要高精准获客、“高情商”客服及高效的流失预警,百度智能云本次升级发布客悦·ONE,在上述核心场景进行了全面优化,为客户提供全生命周期智能营销服务,助力企业实现营销效能全面提升。

为了解决视觉AI模型训练周期长、门槛高,需要大量人工干预的问题。百度智能云升级发布一见5.0,在标准化高、规则清晰的任务中,仅需一句自然语言,即可秒级生成专业级视觉AI应用,一线业务人员也能轻松上手,借助云边协同,应用成本大幅降低,加速了视觉智能规模化的落地。

目前,百度智能云从算力、平台到应用的系统级能力,已经在多个企业场景中稳定运行。中国钢研与百度智能云联合打造全栈智能基础设施,基于昆仑芯和百舸,搭建了专属的智算平台;在千帆上做模型精调,使用大、小模型结合的方式获得最佳效果;结合一见视觉平台,快速完成了表面缺陷检测、金相分析等核心场景的应用开发。(王经)

来源:光明网

相关内容

热门资讯

深企家庭康养机器人入选国家级推... 【深圳商报讯】(记者 罗凯燕)近日,工业和信息化部、民政部、国家卫生健康委员会联合发布《智慧健康养老...
英维克获得实用新型专利授权:“... 证券之星消息,根据天眼查APP数据显示英维克(002837)新获得一项实用新型专利授权,专利名为“一...
持续提升网络质量和服务水平,中... 为确保2025年古井贡酒·年份原浆古20音乐盛典期间通信网络稳定运行,中国电信廊坊分公司高度重视,成...
新技术 我国自主研发机载大气探... 记者从中国气象局获悉,日前,由中国华云气象科技集团有限公司(以下简称华云集团)自主研发的机载大气参数...
苏州密位科技取得图像处理板卡及... 金融界2025年5月14日消息,国家知识产权局信息显示,苏州密位科技有限公司取得一项名为“图像处理板...
瑞迪智驱获得实用新型专利授权:... 证券之星消息,根据天眼查APP数据显示瑞迪智驱(301596)新获得一项实用新型专利授权,专利名为“...
全球征集!深圳国际眼镜设计大赛... 【深圳商报讯】(首席记者 刘琼)2025深圳国际眼镜(智能穿戴)设计大赛近日启动全球作品征集。记者从...
iOS 18.5 更新,信号优... 期待已久的 iOS 正式版更新,终于来了! 今天凌晨,苹果发布了 iOS 18.5 正式版更新,距离...
加大人形机器人领域投入!华为与... (图片来源:摄图网) 5月12日,华为与优必选科技在深圳正式签署全面合作协议。双方将围绕具身智能和人...
5G-A来了,会带来哪些改变? 5G信号多个A带来哪些改变? 最近,不少用户发现自己手机右上角的标识由“5G”变成了“5G-A”。多...
湖北干部走进深圳学营商环境真功... “人形机器人第一股”如何孕育的 湖北干部走进深圳学营商环境真功夫 湖北日报讯 (记者肖丽琼、通讯员...
外卖大战,要熄火了? “在京东、美团、饿了么外卖大战熄火之前,我是不会自己做咖啡的。”周楹告诉《中国新闻周刊》。 她是对价...
新能源汽车,告别人傻钱多 文 | 惊蛰研究所,作者 | 吴嗯 最近,工信部官网发文,公开征集对《汽车车门把手安全技术要求》强...
上海铭亚取得自动穿孔机、旋转头... 金融界2025年5月13日消息,国家知识产权局信息显示,上海铭亚科技有限责任公司取得一项名为“一种自...
外媒聚焦呼和浩特产业升级:焕新... 人民网呼和浩特5月13日电 (杨春燕)呼和浩特市一号工程“伊利现代智慧健康谷”自2019年启动建设以...
思科加入沙特Humain计划 ... 观点网讯:5月14日,美国网络设备与安全巨头思科宣布,将与沙特阿拉伯启动为期多年的人工智能(AI)合...
荣耀机型如何选?低中高三档精选... 买手机最怕什么?选错型号、花冤枉钱!尤其荣耀这两年新机更新快,光是系列就有Magic、数字、X、GT...
利元亨获得发明专利授权:“一种... 证券之星消息,根据天眼查APP数据显示利元亨(688499)新获得一项发明专利授权,专利名为“一种电...
山东高速获得实用新型专利授权:... 证券之星消息,根据天眼查APP数据显示山东高速(600350)新获得一项实用新型专利授权,专利名为“...
孝南8家纸品企业获评绿色工厂 智能生产提升品质降低耗能 孝南8家纸品企业获评绿色工厂 近日,走进孝感市孝南区天娇卫品数字化车间,...