金融界2024年1月26日消息,据国家知识产权局公告,清华大学申请一项名为“一种基于计算图和重计算的数据分配优化方法及装置“,公开号CN117453361A,申请日期为2023年10月。
专利摘要显示,本发明提供一种基于计算图和重计算的数据分配优化方法及装置,涉及优化技术领域。所述方法包括:获取存储开销和计算开销;根据存储开销和计算开销、流水并行的大小、流水节当前序号和各子图分别对应的计算单元数量,以中间结果的显存上界为上限,且各子图中所有计算单元节省最多计算时间为第一目标,确定与各计算单元分别对应的最优重计算策略;根据流水节总数,微样本数量,与各子图分别对应流水节中的最优重计算策略,以及与各子图分别对应流水节前向计算时间和流水节反向计算时间,以总训练时间最短为第二目标,确定每个流水节对应子图中所包含的解码层数量。所述装置执行上述方法。本发明实施例提供的方法及装置,能提高模型整体计算效率。
来源:金融界