正規化線形関数

正規化線形関数（せいきかせんけいかんすう、英: Rectified linear functionあるいは単にrectifierとも）は、引数の正の部分として定義される活性化関数であり、次のように表される。 上式において、 はニューロンへの入力である。これはランプ関数（傾斜路関数）としても知られ、電気工学における半波整流回路と類似している。この活性化関数は、2000年にHahnloseらによって強い生物学的動機と数学的正当化を持って、動的ネットワークへ最初に導入された。2011年以前に広く使われていた活性化関数、例えばロジスティックシグモイド（これは確率論から発想を得ている。ロジスティック回帰を参照。）およびそのより実践的な機能的に同等な関数である双曲線正接関数と比較して、より深いネットワークのより良い訓練を可能にすることが2011年に初めて実証された。正規化線形関数は、2018年現在、ディープニューラルネットワークのための最も人気のある活性化関数である。 正規化線形関数を利用したユニットは正規化線形ユニット（rectified linear unit、ReLU）とも呼ばれる。 正規化線形ユニットはディープニューラルネットワークを用いたコンピュータビジョンや音声認識に応用されている。