今回は相対エントロピーの非負性、いわゆるギブスの不等式について見ていきます。

今回は一般の可測空間上の 2 つの確率測度に対する相対エントロピーおよびそれに関する基本定理について紹介します。

今回はシャノンエントロピーとその特徴付けであるファデエフの公理系について紹介します。