深度学习中经常出现的权重初始化方法

当天给大家分享经常出现的 7 种权重初始化方法

初始化深度学习模型的权重是影响模型训练速度、稳固性以及最终功能的关键起因。

以下是经常出现的 7 种权重初始化方法，每种方法都有其适用的场景和个性。

将一切权重初始化为零。这是最繁难的初始化方法，但通常不适用于深度神经网络。

这种初始化方法的疑问在于，会造成一切的神经元在每一层都学习到相反的特色。

由于关于对称的权重，反向流传降级时会造成相反的梯度，这使得一切的神经元在训练环节中没有差异化，从而丢失了模型的学习才干。

权重随机初始化为一个较小的随机数。通常，这些随机数从平均散布或正态散布中采样。

可以冲破对称性，防止零初始化带来的疑问。

须要小心选用随机数的范畴，太大或者造成梯度爆炸，太小则或者造成梯度隐没。

Xavier 初始化方法依据输入和输入的节点数来选用权重的初始值范畴，使得网络中每一层的输入和输入的方差坚持分歧，防止梯度爆炸或隐没。

关于激活函数是ReLU的网络，Xavier 初始化或者不够有效。

He 初始化是专门为 ReLU 及其变体（如Leaky ReLU）激活函数设计的初始化方法。

它在Xavier初始化的基础上，将方差加大，以顺应ReLU激活函数。

更适宜ReLU激活函数，能有效防止梯度隐没疑问。

关于其余非ReLU激活函数，或者不如Xavier初始化成果好。

LeCun 初始化是一种专门为特定激活函数（如 tanh 和 Leaky ReLU）设计的权重初始化方法。

它的指标是确保在前向流传和反向流传中，网络中信号的方差能够坚持稳固，从而防止梯度隐没或爆炸疑问。

LeCun 初始化的方法是基于正态散布对权重启动初始化，其规范差与输入神经元的数量关系

能有效坚持网络中信号的方差分歧，适用于特定的激活函数。

关于其余激活函数成果有限。

Orthogonal 初始化是将权重矩阵初始化为一个正交矩阵。

正交矩阵的个性使得其转置矩阵也是其逆矩阵，从而在反向流传中能够很好地坚持信号的流动。

能有效防止梯度隐没和梯度爆炸疑问，特意适用于深度神经网络。

计算复杂度较高，适用范畴有限。

Variance Scaling 初始化是一种基于方差缩放的权重初始化方法。

它是为了处置在深度网络中，由于不当的权重初始化造成的梯度隐没或梯度爆炸疑问。

Variance Scaling 初始化经过缩放初始化权重的方差，使得每一层的输入方差坚持分歧，从而稳固模型的训练环节。

Variance Scaling 初始化通经常常使用以下公式定义：