二進エントロピー函数

情報理論において、二値エントロピー関数（にちエントロピーかんすう、binary entropy function）は もしくは のように表記され、確率 の1値または2値ベルヌーイ過程の情報エントロピーとして定義される。数学的には、ベルヌーイ試行は0か1の排他的な2値のみをとりうる確率変数 のとき であり、 のエントロピーは（シャノン単位で）次のように与えられる。 , ここで、 は 0 とする。この式中の対数は通常、底を2とする。二進対数も参照されたい。 のとき、二値エントロピー関数は最大値をとる。これは偏りのないコイントスに対応する。 は単一の実数を引数としてとり、確率分布や確率変数を引数とするエントロピー関数 とは区別される。二値エントロピー関数を と表記する場合もある。しかし、 も と表記することがあるため、混同に注意が必要である。