ReLU関数 - 活性化関数

ReLU関数をPerlで書いてみます。ReLU関数は活性化関数の一つです。

ReLU関数は、値が0より大きい場合はその値を、0以下の場合は0を返す関数です。

use strict;
use warnings;

# ReLU関数
sub relu {
  my ($x) = @_;
  
  my $relu = $x * ($x > 0.0);
  
  return $relu;
}

my $value1 = 0.7;
my $relu1 = relu($value1);

print "$relu1\n";

my $value2 = -0.4;
my $relu2 = relu($value2);

print "$relu2\n";

ReLU関数は、ロジックが簡単で、計算量が少なく、効果が高い活性化関数として知られています。

ReLU関数は隠れ層における活性化関数として利用されますが、出力層で出力を作成する場合にも利用することができます。

ReLU関数の導関数

ReLU関数の導関数については以下を参考にしてください。

Perlテキスト処理のエッセンス
  • 初級者向け・テキスト処理と正規表現の基本をマスター
業務に役立つPerl
  • 実務者向け・ログ解析など日本語を含むテキスト処理の実践!
Perlクラブ
  • 仲間と出会い
    ゆとりあるエンジニアライフを送る