Perl AI深層学習入門

バッチサイズとは - オンライン学習、ミニバッチ学習、バッチ学習

バッチサイズとは、重みとバイアスのパラメーターを調整を、いくつの訓練データを単位にして行うかを示す数です。

複数の訓練データの勾配の平均を使って、重みとバイアスのパラメータが調整されます。

訓練データが50,000個あり、バッチサイズが、10の場合は、10個ずつ、5000回処理されます。

バッチサイズが1の場合をオンライン学習と呼びます。

バッチサイズが、1以上の場合をミニバッチ学習と呼びます。

バッチサイズが、訓練データの総数と同じ場合をバッチ学習と呼びます。

どのバッチサイズが学習効率が良いかは、データにに依存するので、どうやら勘を使って設定するようです。