目录
学习之前我们先要了解为什么会有优化器这个东西：
在训练过程中，我们首先会计算损失函数，然后使用优化器来更新模型参数。这个过程通常被称为反向传播（Backpropagation），其中优化器根据损失函数的梯度来决定参数的更新方向和大小，通过不断更新以提高模型的性能。反向传播机制可参考：损失函数介绍
注：本部分只涉及优化器的基本使用及相关代码说明，若要深究其原理请自行查阅。
优化器（Optimizer）是深度学习中用于调整模型参数以最小化损失函数的算法。在训练神经网络时，优化器通过计算梯度并更新参数的方式来不断调整模型，通过多次迭代，不断调整模型参数，使得损失函数逐渐减小，模型可以更快地收敛和拟合训练数据、避免局部最优点、提高模型的泛化能力等。官方文档说明：优化器
?这里通过随机梯度下降（Stochastic Gradient Descent，SGD）优化器为例来解释一下优化器的具体操作流程：
- 创建优化器结构，一般只需要传入模型参数及学习速率即可，其中学习速率需适中，过大会使模型训练不稳定，过小训练速度太慢，建议前期设置较大，后期逐渐减小来加强模型训练
- 遍历数据集，将数据集传入神经网络进行处理，随后利用损失函数计算预测与真实间的误差，将误差进行反向传播计算每一个参数对应的梯度，通过优化器对梯度进行相应调整
- 每一次调整后都需要将前一次的梯度清零，防止梯度累计，影响下一次的优化
本部分依旧是以 CIFAR10 数据集为例，经过3次卷积和池化后再线性变换得到大小为10的输出向量，这里为直观的显示优化器对模型参数的调整，我们训练了20轮，同时输出每一轮数据集中的误差总和。
相关代码如下：
控制台输出结果：
从输出结果可以看出，经过优化器的调整后，数据集误差总和在逐步下降，这代表模型对于数据的适应性能越来越强。
总结：以上只是一个最基础的使用优化器来进行调优的过程，在实际应用当中，我们应该依据损失函数选择适合的优化器进行训练，因为不同的优化器在不同的场景下会表现出不同的效果，相应的默认参数也不一致，因此选择合适的优化器可以帮助提高模型的训练速度和性能。
在线客服
客服咨询
官方微信
返回顶部
