跟李沐学AI：数值稳定性、模型初始化和激活
创始人
2024-12-26 07:37:23
0次
数值稳定性的两个常见问题
1. 梯度爆炸
梯度爆炸的问题：
值超出值域， 对于16位浮点数尤为严重
对学习率敏感：如果学习率太大->大参数值->更大的梯度，如果学习率太小->训练无进展
2. 梯度消失
梯度消失的问题：
梯度值变成0，对16位浮点数尤为严重
不管如何选择，训练没有进展
对于底部层尤为严重，仅仅顶部层训练的效果好，无法让神经网络更深
数值稳定性总结
当数值过大或过小时会导致数值问题
问题常发生在深度模型中，因为其会对n个数值累乘
让训练更加稳定
目标：让梯度值在合理的范围内，如[1e-6,1e3]
方法：将乘法变为加法、归一化、梯度裁剪、合理的权重初始化和选择合适的激活函数
让每层的方差是一个常数
将每层的输出和梯度都看作随机变量，让他们的均值和方差都保持一致。
权重初始化
在合理值区间内随机初始参数。训练开始时更容易发生数值不稳定，如远离最优解的地方损失函数表面可能很复杂，最优解附近损失函数表面较为平缓。使用正态分布N(0, 0.01)来初始权重对于较小的神经网络没有问题，但不能保证深度神经网络的稳定性。
默认初始化
如果我们不指定初始化方法， 框架将使用默认的随机初始化方法，对于中等难度的问题，这种方法通常很有效。
Xavier初始化
Xavier初始化也是一种常用的初始化方法。Xavier初始化从均值为0，方差为
的高斯分布中采样权重。我们也可以将其改为选择从均匀分布中抽取权重，均匀分布服从
目录
数值稳定性的两个常见问题
1. 梯度爆炸
2. 梯度消失
数值稳定性总结
让训练更加稳定
让每层的方差是一个常数
权重初始化
默认初始化
Xavier初始化
初始化总结
合理的权重初始值和激活函数可以提升数值稳定性
相关内容
热门资讯
终于知道”新荣耀房卡领取码“牛...
终于知道”新荣耀房卡领取码“牛牛房卡哪里有卖微信房卡充值 添加房卡批售商：微【113857776】复...
终于知道”新久情房卡怎么得“牛...
终于知道”新久情房卡怎么得“牛牛房卡最低价格 微信牛牛房卡客服微信号微信游戏中心打开微信，添加客服【...
终于知道”新天道房卡获取“新道...
终于知道”新天道房卡获取“新道游房间卡怎么购买 微信牛牛房卡客服微信号微信游戏中心打开微信，添加客服...
终于知道”人海大厅房卡充值“炸...
终于知道”人海大厅房卡充值“炸金花房间卡怎么购买 微信牛牛房卡客服微信号微信游戏中心打开微信，添加客...
终于知道”财神在哪里买房卡“新...
来教大家如何使用在哪里买房卡房卡充值 添加房卡批售商：微【113857775】复制到微信搜索、直接添...
终于知道”新长虹如何买房卡“新...
终于知道”新长虹如何买房卡“新猴王大厅房间卡怎么购买 微信牛牛房卡客服微信号微信游戏中心打开微信，添...
终于知道”新金龙房卡领取码“人...
房卡领取码是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:113857776许多玩家在游戏中会购买房...
终于知道”新九哥房卡在哪里买“...
房卡在哪里买是一款非常受欢迎的棋牌游戏，咨询房/卡添加微信:113857776许多玩家在游戏中会购买...
终于知道”新八戒房卡怎么得“人...
终于知道”新八戒房卡怎么得“人海大厅房卡充值 微信牛牛房卡客服微信号微信游戏中心打开微信，添加客服【...
终于知道”新卡农房卡到哪里买“...
终于知道”新卡农房卡到哪里买“先锋大厅房间卡怎么购买微信房卡充值 添加房卡批售商：微【1138577...
终于知道”新财神哪里买低价获取...
来教大家如何使用哪里买低价获取房卡充值 添加房卡批售商：微【113857775】复制到微信搜索、直接...
终于知道”新天道在哪里买房卡“...
终于知道”新天道在哪里买房卡“王者大厅房间卡怎么购买 微信牛牛房卡客服微信号微信游戏中心打开微信，添...
终于知道”新详心房卡购买“拼十...
终于知道”新详心房卡购买“拼十房卡充值游戏中心打开微信，添加客服【113857776】，进入游戏中心...
终于知道”新老夫子房卡购买“王...
来教大家如何使用房卡充值房卡充值 添加房卡批售商：微【113857775】复制到微信搜索、直接添加房...
终于知道”新九游是如何购买的“...
第二也可以在游戏内商城：在游戏界面中找到 “微信金花，斗牛链接房卡”“商城”选项，选择房卡的购买选项...
终于知道”新上游房卡哪里充“先...
终于知道”新上游房卡哪里充“先锋大厅房间卡怎么购买微信房卡充值 添加房卡批售商：微【11385777...
终于知道”新九天获得房卡链接渠...
来教大家如何使用获得房卡链接渠道房卡充值 添加房卡批售商：微【113857775】复制到微信搜索、直...
终于知道”大众互娱在哪里买房卡...
终于知道”大众互娱在哪里买房卡“牛牛房卡哪里有卖 微信牛牛房卡客服微信号微信游戏中心打开微信，添加客...
终于知道”九九房卡获取方式“先...
终于知道”九九房卡获取方式“先锋大厅房间卡怎么购买微信房卡充值 添加房卡批售商：微【11385777...
终于知道”新荣耀获得房卡链接渠...
终于知道”新荣耀获得房卡链接渠道“新道游房卡充值微信房卡充值 添加房卡批售商：微【113857776...