第2章 离散信息的度量

对离散消息中所含信息的度量称为离散信息度量，这种度量也可视为是对离散随机变量的信息度量。有两种含义不同但又密切相关的度量方式，一种是离散随机变量本身所含信息量多少的量度，而另一种是离散随机变量之间相互提供信息量多少的量度。前者用信息熵来描述，后者用平均互信息来描述。平均互信息可视为信息熵的扩展。而信息熵又可视为平均互信息的特例，两种信息度量都有很多重要的性质。

本章主要限制在离散有限随机变量的信息度量，主要内容包括自信息和互信息、信息熵的基本概念和性质，以及平均互信息的概念与性质等。

本书符号约定：大写字母表示随机变量或随机事件集合，小写字母表示随机变量的取值或随机事件，其中x取自一个有限符号集合（也称字母表）A={a1,a2,…,an}，符号集也可以是无限可数的，但如无特别说明，都默认为有限符号集的情况。