信息的本质
信息的本质是消除不确定性:我们抛掷一枚硬币,然后用手盖住,出现正面朝上和反面朝上的概率都是二分之一。当我们偷看了结果,确定了是正面还是反面朝上,也就获得了信息。在这个例子中,我们消除的不确定性是一个二分之一的概率。在 香农 划时代的论文 通信的数学原理 中,首次提出了信息是可量化的,以及如何量化信息。我们以 bit 为信息的度量单位,一个 bit 可以是 0 或者 1,我们每获得一个 bit 的信息,就会消除一个二分之一的不确定性。
小思考题:如果我们抛掷的是一个骰子呢,当我们确定了一次投掷结果,我们获得多少信息(用 bit 为单位衡量)?
我们都知道,骰子有 6 个面,分别刻有 1~6,我们有六分之一的概率得到其中任意一个面朝上。那么我们获得的信息应该是:$\log_2 6$。