バッチサイズとは - オンライン学習、ミニバッチ学習、バッチ学習

バッチサイズとは、重みとバイアスのパラメーターを調整を、いくつの訓練データを単位にして行うかを示す数です。

複数の訓練データの勾配の平均を使って、重みとバイアスのパラメータが調整されます。

訓練データが50,000個あり、バッチサイズが、10の場合は、10個ずつ、5000回処理されます。

バッチサイズが1の場合をオンライン学習と呼びます。

バッチサイズが、1以上の場合をミニバッチ学習と呼びます。

バッチサイズが、訓練データの総数と同じ場合をバッチ学習と呼びます。

どのバッチサイズが学習効率が良いかは、データにに依存するので、どうやら勘を使って設定するようです。

Perlテキスト処理のエッセンス
  • 初級者向け・テキスト処理と正規表現の基本をマスター
業務に役立つPerl
  • 実務者向け・ログ解析など日本語を含むテキスト処理の実践!
Perlクラブ
  • 仲間と出会い
    ゆとりあるエンジニアライフを送る