損失関数は、出力結果と期待される出力結果(正しい答え)の誤差を計算するために使用する関数です。
ディープラーニングでは、損失関数で求められた誤差が小さくなるように、重みとバイアスのパラメーターが調整されていきます。
Perl AI深層学習入門