习题7-8

[simo-an]

题目

习题7-8 分析为什么批量归一化不能直接应用于循环神经网络．

解答

层归一化是可以用于RNN的，如下显示二者的区别

• 批量归一化是对一个中间层的单个神经元进行归一化操作，因此要求小批量样本的数量不能太小，否则难以计算单个神经元的统计信息（样本太少没有统计学上的意义）
• 如果一个神经元的净输入的分布在神经网络中是动态变化的（如RNN），那么就无法应用批量归一化操作
• 层归一化是对一个中间层的所有神经元进行归一化， RNN可以用层归一化

[Lipapaldl]

1.序列长度变化：RNN处理的序列数据长度可能会变化，在每个时间步上，序列长度可能不同，意味着每个小批量的序列长度会不同。而批量归一化假设在每个批次中，输入数据具有相同的维度特征，对于长度不同的序列，很难直接应用批量归一化
2.顺序信息丢失：RNN中的顺序信息对于模型的学习很重要。批量归一化过程中，会对时间步的样本进行混洗，破坏了时间步之间的依赖性和序列的顺序性