线性整流函数

整流線性單位函数（Rectified Linear Unit, ReLU），又称修正线性单元，是一种人工神经网络中常用的激勵函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。 比较常用的线性整流函数有斜坡函数 ，以及带泄露整流函数（Leaky ReLU），其中 为神经元（Neuron）的输入。线性整流被认为有一定的生物学原理，并且由于在实践中通常有着比其他常用激勵函数（譬如逻辑函数）更好的效果，而被如今的深度神经网络广泛使用于诸如图像识别等计算机视觉人工智能领域。