Skip to content

Latest commit

 

History

History
16 lines (10 loc) · 817 Bytes

2梯度下降.md

File metadata and controls

16 lines (10 loc) · 817 Bytes

梯度下降

优化

  • 参数归一化(不管是从那个方向,更容易找到最小值)

梯度消失和梯度爆炸

  • 随机化参数

动量梯度下降法Momentum

  • 作用: 动量梯度下降法不但能使用较大的学习率,其迭代次数也较少
  • 理论: 指数加权平均
  • 其他: 与Momentum的机制类似的,还有一种叫做RMSprop的算法,他们俩的效果也是类似,都解决了相同的问题,使梯度下降时的折返情况减轻,从而加快训练速度。因为下降的路线更接近同一个方向,因此也可以将学习率增大来加快训练速度
  • 拓展: Momentum和RMSprop的结合,产生了一种权威算法叫做Adam,Adam结合了前两者的计算方式形成自己的优化方法,基本适用于所有的模型和网络结构