Softmax函数

在数学，尤其是概率论和相关领域中，Softmax函数，或称归一化指数函数，是逻辑函数的一种推广。它能将一个含任意实数的K维向量 “压缩”到另一个K维实向量 中，使得每一个元素的范围都在之间，并且所有元素的和为1(也可視為一個 (k-1)維的hyperplane或subspace)。该函数的形式通常按下面的式子给出： for j = 1, …, K. Softmax函数实际上是有限项离散概率分布的梯度对数归一化。因此，Softmax函数在包括 多项逻辑回归 ，多项线性判别分析，朴素贝叶斯分类器和人工神经网络等的多种基于機率的多分类问题方法中都有着广泛应用。 特别地，在多项逻辑回归和线性判别分析中，函数的输入是从K个不同的線性函數得到的结果，而样本向量 x 属于第 j 个分类的機率为： 这可以被视作K个线性函数Softmax函数的复合（）。