Perl AI深層学習入門
パラメーター更新最適化アルゴリズムとは
パラメーター更新最適化アルゴリズムとは、重みとバイアスのパラメーターを更新する場合に、高い正答率に速く到達し、また最終的な正答率が高くなるように考えられたアルゴリズムのことです。
ミニバッチSGDとは何ですか?
このサイトの解説では、確率的勾配降下法に、ミニバッチSGDを含んでいますが、本来的な意味は、バッチサイズが1のものをSGDとよび、バッチサイズが複数のものを、ミニバッチSGDと呼びます。
勾配降下法とは何ですか?
勾配降下法とは、確率的勾配降下法において、訓練データをランダムに並べ替えることを行わない方法です。
確率的の意味は、訓練データをランダムに並べかえるという意味です。
最急降下法とは何ですか?
最急降下法とは、勾配降下法において、バッチサイズを、訓練数と同じにしたものです。
「最急降下」の意味は、誤差の指標である損失関数に対して大きな変化をもたらす(傾きが大きい)パラメーターは、その大きさに学習率を考慮した値を減算して更新するという意味です。
理解の仕方
パラメーター更新最適化アルゴリズムの理解の仕方。
訓練データをランダムに並べ替えるか
「確率的」という言葉で表現されます。
バッチサイズはいくつか
バッチサイズが訓練数と同じであれば、最急降下法、バッチサイズが一つであれば、勾配降下法(SDG)、バッチサイズが複数であれば、ミニバッチSGDです。
バッチサイズと並列化
ミニバッチSDGが優れているのは、スレッドなどを使って並列化を行うことができることです。これによって、パフォーマンスを向上させることができます。
1回の学習は、それぞれ独立しているので、傾き(勾配)の計算も独立して行うことができます。
ミニバッチSDGをさらに改善したパラメーター更新最適化アルゴリズム
ミニバッチSDGをさらに改善したパラメータ最適化アルゴリズムがあります。