清华大学申请数据分配优化专利，能提高模型整体计算效率
金融界
2024-01-28 22:38:42
0次
金融界2024年1月26日消息，据国家知识产权局公告，清华大学申请一项名为“一种基于计算图和重计算的数据分配优化方法及装置“，公开号CN117453361A，申请日期为2023年10月。
专利摘要显示，本发明提供一种基于计算图和重计算的数据分配优化方法及装置，涉及优化技术领域。所述方法包括：获取存储开销和计算开销；根据存储开销和计算开销、流水并行的大小、流水节当前序号和各子图分别对应的计算单元数量，以中间结果的显存上界为上限，且各子图中所有计算单元节省最多计算时间为第一目标，确定与各计算单元分别对应的最优重计算策略；根据流水节总数，微样本数量，与各子图分别对应流水节中的最优重计算策略，以及与各子图分别对应流水节前向计算时间和流水节反向计算时间，以总训练时间最短为第二目标，确定每个流水节对应子图中所包含的解码层数量。所述装置执行上述方法。本发明实施例提供的方法及装置，能提高模型整体计算效率。
来源：金融界
相关内容
热门资讯
15款性价比小米充电宝，带你感...
前言 小米科技作为全球知名的科技品牌之一，旗下拥有着高质量、高效率和高颜值的充电宝产品，受到广大用...
三大重磅科技成果在宁发布
第九届 未来网络发展大会 三大重磅科技成果在宁发布 三大重磅 三大重磅科技成果在宁发布 三大重磅科...
农业专家系统+物联网！智慧农业...
在乡村振兴与科技兴农的大背景下，传统农业正加速向数字化、智能化转型。而在这场变革中，真正驱动智慧农业...
GPT-5点赞！八大顶尖机构发...
新智元报道 编辑：LRST LLM驱动的AI智能体已展现出惊人潜力：它们以LLM为核心，集成感知模...
滴滴外卖“三支箭”，射向“自己...
文｜锦缎 中国科技大厂的“内卷”神功，越来越国际范儿了。 国内“外卖大战”刚有退火迹象，鲜为人知的...
【新观察】让黑色煤炭绽放绿色光...
科研团队向院士专家汇报课题进展情况。 “煤转化过程智能研究”科研团队被授予“科技攻坚突击队”称号。...
清华校友出手，8B硬刚GPT-...
新智元报道 编辑：桃子 好困 【新智元导读】大模型再强，也躲不过上下文限制的「蕉绿」！MIT等团队...
广州立景创新科技取得馈纸机构及...
金融界2025年8月21日消息，国家知识产权局信息显示，广州立景创新科技有限公司取得一项名为“馈纸机...
常德二院全栈国产化信创打造医疗...
信创产业发展是国家经济数字化转型、提升产业链发展的关键，是科技自立自强的核心基座，其本质是实现中国信...
华为登顶2025年《财富》中国...
【CNMO科技消息】8月21日，财富中文网发布了2025年《财富》中国科技50强榜单。其中，华为投资...
百度二季度营收下降4%，李彦宏...
来源：澎湃新闻 “目前，我们正在开发Ernie（文心大模型）的下一代旗舰版本，这一代的文心大模型在很...
三大重磅科技成果南京发布
8月20日，第九届未来网络发展大会在南京开幕，以“网络全球 决胜未来”为主题，立足全球视野打造高端对...
奥利特铝业取得移动式阳光房下轨...
金融界2025年8月20日消息，国家知识产权局信息显示，佛山市奥利特铝业有限公司取得一项名为“一种移...
华为中国行2025·湖北新质生...
[中国，湖北，2025年8月20日] 以“数智荆楚，新质有为”为主题的华为中国行2025·湖北新质生...
多维聚力书“长理答卷”，青春笔...
古建雅韵云端留痕、推普课堂活力满满、生态农业智慧赋能、非遗剪纸焕发新彩、红色基因薪火相传……7月13...
大质量恒星生命结束之谜揭示
来源：滚动播报 （来源：科创中国） 《自然》20日刊登的论文报告了一次罕见的宇宙事件：一颗大质量恒星...
TikTok 公会的未来发展趋...
一、技术重构：AI 与元宇宙驱动的工业化生产革命 在 TikTok 生态中，技术正在彻底改写内容生产...
科技大事件 丨 荣耀新机今日发...
NEWS ◆ 苹果新动向 ◆ Apple Watch 血氧功能在美国「换道」回归，Masimo 再诉...
KTV点歌变“看AI抽象展”？...
来源：滚动播报 （来源：上观新闻） 走进KTV包厢，点首温柔情歌想放松，结果屏幕上跳出一堆扭曲的色...
AI办公应用能力评价考试网：A...
科技行业再迎重大变革！近日，Meta Platforms宣布对其人工智能部门进行战略性重组，将其拆分...