第二章 信源和信息度量

实际有用的信源应具有不确定性（Uncertainty）

信源的分类：

从信源获取信息的过程就是其不确定度缩减的过程。

对于离散信源：

• 自信息（自信息量）
• 联合自信息
• 条件自信息

I(x) = -log(P(x))

取以2为底的对数，单位为比特（bit，binary unit） 取以e为底的对数，单位为奈特（nat，Nature unit） 取以10为底的对数，单位为哈特（Hart， Hartley）

• 信源熵：平均自信息量 H(x) = E[I(x)]
• H(x)=H(P)=H(p₁,p₂,…,p_r)=-∑p_ilog(p_i)
• 信息熵只会减少，不会增加 负热熵
• Shannon熵 Shannon信息熵
• 条件熵
• 联合熵
• 熵函数的性质：
  • 非负性
  • 对称性
  • 确定性
  • 扩展性
  • 连续性
  • 递增性
  • 极值性
  • 上凸性
  • 可加性
  • 强可加性
• 熵的不增原理