← 返回学习路线
梯度下降为什么会卡住?
学习率怎么选?
小球代表当前参数 (x, y),曲面高度是损失值。每一步小球沿曲面最陡下降方向挪一点,挪多远由学习率决定。曲面上有两个坑:左下的浅坑是局部极小值,右上的深坑是全局最低点,小球未必找得到深的那个。
当前 Loss
—
步数
0
梯度模长
—
未开始
点击曲面选一个起点,或直接按“播放”从默认起点出发。
控制面板
学习率
0.10
动量 (momentum = 0.85)
单步
播放
重置
在曲面上点击可重新选起点(会自动重置)。
起点
(2.50, 2.50)
先预测,再运行
按当前设置运行,小球最终会怎样?
会滚到全局最低点
会卡在某个局部极小值
会发散 / 跳来跳去不收敛
视图
自由
俯视
侧视
拖拽旋转 · 滚轮缩放