神经网络——损失函数、反向传播与优化器

因为这章内容比较多，分开来叙述，前面先讲理论后面是讲代码。最重要的是代码部分，结合代码去理解思想。 SGD优化器 思想： 根据梯度，控制调整权重的幅度 公式： 权重(新)=权重(旧) - 学习率 × 梯度 Adam优化器 思想： 在我看来，Adam优化器重点是能动态调整学习率，防止学习率较大时反复震荡，比如说当梯度一直为正的时候，权重一直减小，这时直到梯度为负的时候，权重不应该一下子增长太多，而是应该缓慢增长。 这个公式可以在Diy框架代码中找到对应的代码并进行了解释。 优势：

• 上一篇: 盯着美团做外卖？不，抖音的最终目标，是“干掉”央视【快评】
• 下一篇: 初中成绩差能出国留学吗，一文了解中学生出国留学的常见问题汇总