现代信息论的奠基人香农(Shannon)给出了信息的定义，并对信息停止了信息量的量化度量。“信息是用来消弭随机不确定性的工具”，香浓将信息和不确定性联络起来，若是可以度量一个工作的不确定性，那么也就可以度量某一信息的信息量。留意，在那里，我不消概率论上的专业术语随机变量等等，而是用“工作”暗示某一可能包罗多种“情况”的宏不雅事物。好比，抛硬币是“工作”，正面朝上或者背面朝上是“情况”。再好比，明天气候情况是工作，而明天详细是好天、多云仍是下雨是情况。所有可能的“情况”构成了“工作”。
最简单的具有不确定性的工作能够说是抛一次硬币。抛一次硬币那个工作的情况有两种，硬币正面朝上或是背面朝上，而且那两种情况发作的概率相等，都是50%。关于那个不确定性的工作，如今我们要消弭它的不确定性，只需要给出“正面朝上”或是“背面朝上”那一信息，就能消弭它的不确定性。
既然具有最简单的不确定性的工作是抛一次硬币，那么如今，我们拿抛一次硬币那件工作，来权衡其他具有不确定性的工作。同样的事理，我们拿用来消弭抛一次硬币的不确定性的信息的信息量，做为信息量的根本单元， bitbit(比特)。
好了，如今我们有，具有 1bit1bit 信息量的信息能够消弭抛一次硬币那一工作的不确定性。
详细来说。他人向你抛了一枚硬币，之后那枚硬币是正面朝上仍是背面朝上对你而言是未知的，不确定的。你想晓得抛掷的成果，他人告诉你是“正面朝上”或者“背面朝上”时，你就晓得告终果，消弭了对那一工作的不确定性。他人告诉你“正面朝上”或者“背面朝上”那一信息的信息量，就是 1bit1bit 。
到目前为行，我们已经有了用来度量信息的信息量的单元，那就是 bitbit，比特。
有了信息量的单元 bitbit ，那么如何利用 bitbit 用来度量各类各样的信息呢？
若何用bit度量信息起首，我们来看所有情况为等概率的前提下，若何用bit度量信息。
我们再次回到那句话上，信息是用来消弭工作的不确定性的。最简单的情况，在等概率的前提下，我们能够理解，不确定性的削减量等于信息的信息量。
在等概率的前提下，只要晓得不确定性的削减量，我们就能晓得信息的信息量。
我们已经有了具有不确定性的最简单的工作，抛一次硬币。之后我们要做的就是，用抛一次硬币那一工作的不确定性，来暗示其他工作的不确定性。与之逻辑相对应的是，用 bitbit暗示其他信息的信息量。
下面我来举例子详细申明。
你和小明在玩一个“幸运球”游戏。那里有四个编号别离为1、2、3、4的小球。你背过身去，小明从四个小球中拿一个“幸运球”放在口袋里。留意，小明选择球时并没有数字偏好。之后，你想晓得小明选了哪一号球。
显而易见，小明选球那一工作具有不确定性。那一不确定性详细是指小明可能选择1、2、3、4号球中的肆意一个，且那四种选择中的每一种选择的概率都是25%。那么，小明选球那一工作的不确定性等价于抛几次硬币的不确定性呢？不难理解，等于抛两次硬币的不确定性。下面我们来推理。
小明选球有四种可能的情况，别离是选1号球、选2号球、选3号球和选4号球，且每种选择的可能性相等，都是四分之一。抛两次硬币也有四种可能性，别离是正正、正反、归正和反反，且每种可能性均为四分之一。那么就有小明选球那一工作的不确定性等于抛两次硬币的不确定性。
消弭抛一次硬币不确定性的信息的信息量为 1bit1bit ，那里我们规定，消弭抛两次硬币不确定性的信息的信息量为 2bit2bit 。因为小明选球那一工作的不确定性等于抛两次硬币的不确定性， 那么我们就有消弭小明选哪个球那一工作的不确定性所需要信息的信息量为 2bit2bit 。
也就是说，小明告诉你他选的是哪一号球，你晓得成果之后，那么你将获得 2bit2bit信息。
如今更改游戏规则，将球的数量增加到八个，小明要从中拿一个“幸运球”。按同样的逻辑推理，选完之后小明告诉你他选的球的编号，那么你将获得3bit的信息。
你也许在之前就已经留意到了，抛硬币的次数与呈现的所有情况的个数那两者之间的关系，且那些情况等概率呈现。假设抛了 mm 次硬币，那么呈现的等概率的情况个数为 2m2^m个。抛m次硬币那一工作所带来的等概率情况的个数为2m2^m，则消弭包罗2m2^m个等概率情况的工作的不确定性所需要信息的信息量为 mm bit。响应的，消弭包罗 nn 次等概率情况工作的不确定性所需要信息的信息量为 log2nlog_2n bit。
若是 nn 不刚好是以2为底指数的整数倍，那log2nlog_2n岂不就不是整数了？没错，信息量的单元 bitbit允许有小数，就像丈量长度的单元 mm 允许 1.4m1.4m 存在一样。
下面，我们来看情况为非等概率的前提下，若何用bit度量信息。
若是一件工作包罗情况发作的概率不相等，那么那时，供给信息的信息量又有几？
一件工作包罗的情况发作的概率不相等。那时我们只要略微改变一下思维，概率发作不相等情况就酿成了概率发作相等的情况。
如今改动一下“幸运球”游戏的规则。仍是四个球，只不外此次是三个黑球和一个白球。显然小明拿白球的概率是25%，拿黑球的概率是75%。小明拿完球之后，告诉你他拿到了白球。那个场景，我们换个体例想一下，拿到白球的概率，也就是一个包罗四个（0.25的倒数）等概率情况的工作发作某一特定情况的概率。对的，某种情况发作的概率，等价于一个包罗概率倒数种等概率情况的工作发作此中某一特定情况的概率。小明拿到球之后告诉你拿到了白球，那么那一信息的信息量为log2(1/0.25)log_2 (1/0.25)bitbit 。同样的，小明拿到球之后告诉你拿到了黑球，那一信息的信息量为log2(1/0.75)log_2 (1/0.75)bitbit 。
当然，在整个游戏过程中，小明始末晓得本身选的是哪一号球，那已经确定了，所以不管谁再告诉小明成果，小明所收到信息的信息量都为 0bit0bit。所以，信息消弭对某件工作的不确定性，还要取决于信息的承受者是谁。
如今，你清晰如何用 bitbit 去度量差别信息的信息量了吗？