創屋ぷれす

AdaBelief とは

DeepLearningで使用される学習機(Optimaizer)が新しく発表されました。

名前は「AdaBelief」でAdamとMomentamSDGのいいとこどりをしたようなものだそうです。

ざっくりとした説明としては
より正確な学習率を求めることで、より早く学習が進み、より汎化性能も出るよというものです。
 数回分の誤差が小さい場合、誤差に対する更新量の割合を増やし、
 逆に数回分の誤差が大きい場合は、誤差に対する更新量の割合を増やし。

この数回分を考慮するというのがキモのようです。

モデルを変えずに精度が上がるかもしれないのは、開発者としては非常にありがたい話です。

Comments are closed.