金融界2024年3月29日消息,据国家知识产权局公告,华为技术有限公司申请一项名为“神经网络模型的训练方法、装置、设备及系统“,公开号CN117787375A,申请日期为2022年9月。
专利摘要显示,本申请提供一种神经网络模型的训练方法、装置、设备及系统,应用于训练神经网络模型的计算设备。该方法包括:计算设备在对神经网络模型进行量化训练的过程中,针对量化导致的梯度不准确的问题,根据参数的量化误差的波动值更改梯度补偿策略,使用适用的梯度补偿策略对梯度进行校正,并基于梯度补偿策略确定的梯度更新神经网络模型的参数,得到优化后神经网络模型。从而提高了神经网络模型的参数的梯度的准确性,以及根据梯度确定的参数的精度,进而保证了模型训练的精度。
来源:金融界