【pytorch 优化器】ReduceLROnPlateau详解

参数

含义

mode

'min’模式检测metric是否不再减小，'max’模式检测metric是否不再增大；

factor

触发条件后lr*=factor；

patience

不再减小（或增大）的累计次数；

verbose

触发条件后print；

threshold

只关注超过阈值的显著变化；

threshold_mode

有rel和abs两种阈值计算模式，rel规则：max模式下如果超过best(1+threshold)为显著，min模式下如果低于best(1-threshold)为显著；abs规则：max模式下如果超过best+threshold为显著，min模式下如果低于best-threshold为显著；

cooldown

触发一次条件后，等待一定epoch再进行检测，避免lr下降过速；

min_lr

最小的允许lr；

eps

如果新旧lr之间的差异小与1e-8，则忽略此次更新。