比特币里的 Bit, 源于信息的最小单位。信息如何定义, 又如何计量？
本文转载自微信公众号ChainNews(ID:chainnewscom)，作者：老链哥，极客公园已获转载授权，转载请联系出处。
Claude Elwood Shannon，人称香农，美国数学家、电子工程师和密码学家，被誉为信息论的创始人，与爱因斯坦、牛顿智力相当。但你可能不知道的，爱迪生 Thomas Alva Edison 是他的远房亲戚，他的亲祖父发明了洗衣机和许多农用机械。
1916 年 4 月 30 日，Claude Elwood Shannon 香农出生于美国密歇根州 Gaylord 镇。他从小便对于密码学感兴趣，尤其喜欢爱伦·坡的短篇小说《The Gold Bug》中文译作《金甲虫》，解码一张神秘地图，英雄找到了宝藏。
Claude Elwood Shannon，1916-2001，被认为是有史以来最伟大的电气工程英雄之一，摄影：Stanley Rowin
他最著名、最具影响力的论文莫过于「A mathematical theory of communication」，是信息论的奠基之作，精确地定义了信源编码、信道编码等概念。然而，这篇恢宏巨作，当年也被拒过稿。审稿者的回复大致是：电报都出现过百年了，没什么要继续突破的，劝作者去尝试研究下刚出现没多久的电视机。
Confidential comments to the editor:
The only thing absolutely wrong with this paper is that it doesn't quite "resonate" with what the research community finds exciting. At any point, there are sexy topics and unsexy ones:
These days, television is sexy and color television is even sexier. Discrete channels with a finite number of symbols are good for telegraphy, but telegraphy is 100 years old, hardly a good research topic.
否掉「通信的数学理论」的审稿者回复
其实我们一直生活在 Claude Elwood Shannon 信息论的影响中。但有没有想过，你真的了解 information「信息」么？你也许通过比特币 Bitcoin 知道了 bit，或者早就听说过 bit，但知道 bit 是信息的最小单位么？
香农与图灵，人工智能的设想
二战期间，Claude Elwood Shannon 加入贝尔实验室，研究火力控制系统和密码学，相关课题直属国防研究委员会领导。
在贝尔实验室，他与信息技术史上另外两位先锋人物 Barney Oliver、John Pierce 保持着良好关系，因为与他钦佩的高智商、创造力的人围成一圈，香农受益于这样的过程，愈发变得聪明，和更有创造力。也可见，Claude Elwood Shannon 对友谊的态度主要集中在内容上，而不仅是关系上。
Claude Elwood Shannon 在贝尔实验室
1943 年，英国数学家、密码学家阿兰·图灵到华盛顿和美国海军交流破译德国北大西洋潜艇舰队密码的成果，曾造访贝尔实验室。二战期间，图灵与香农二人都是负责通信加解密的工作。
期间，图灵与香农进行了生动的知识交流，讨论到人造思维机器的设想，接近今天我们所说的人工智能。图灵向香农介绍了通用图灵机的概念，香农则告诉图灵，他不仅满足于向这台「大脑」里输入数据，还希望把文化的东西灌输进去。这一不可思议的想法，连图灵都被震惊到。
图灵比香农年长 4 岁。
信息，从 intelligence 至 information
「信息论」information theory，即研究「信息」的理论。信息极大地释放了人类的能量，它所创造的价值超过了之前五千年的财富总和，但「信息」依然是大家耳熟能详却又含义模糊的词。
Claude Elwood Shannon 信息论的伟大贡献在于，可以用数学公式严格定义信息的量，反映了信息表达形式在统计方面的性质。
在 20 世纪早期，信息的载体随处可见，信件、电话、声音和图像，信息在全球川流不息地流动着。据美国人口普查局统计摘要，截至 1948 年，美国每天有 1.25 亿次的通话要经过贝尔系统 2.22 亿公里的有线电缆和 3100 万台电话机进行传输。此外还有 3186 家无线电广播台、15000 家报社及 4000 亿封信件。
如此多的信息流动，信息又该如何衡量？邮局可以计算信件和包裹的数量，但贝尔系统传输的信息，该用什么单位计数呢？当时没有一个词能够精准地概括所有这些东西。Claude Elwood Shannon 在 1939 年写给 Vannevar Bush 的信件中提到，他时断时续地在研究信息 intelligence 一般系统的某些基本属性。
说到 intelligence 一词，Thomas Elyot 爵士在 16 世纪总结过，「Intelligence 是一个文雅的说法，表示通过相互交换信件或者口信达成协议或者约定」。但现在我们所指的信息，与当时所说的 intelligence 出入越来越大。
1948 年 7 月贝尔科研期刊，C. E. Shannon「通信的数学理论」
后来，一些贝尔实验室的工程师开始更多地使用 information 一词，用于表达一些技术性的概念，如信息的数量、测量等。Claude Elwood Shannon 身为其中一员，在后来「信息论」中也采用了 information 这个词。自此，information 逐渐成为了主流。
回溯从前，当物理学的发展遇到了瓶颈，牛顿也是将一些传统但又定义模糊的词汇，如力、时间、质量等重新定义，让物理学开始了一个新的时代。也正是牛顿把这些词加以量化，和放在数学公式里。
那么，如何把信息放进数学公式里？
信息单位「比特」Bit 被定义
通信学科是最早系统性地研究信息理论的学科，在信息论被提出之前，数字通信发展的一些大事件：
1837 年，Morse：有线电报；
1875 年，Emile Baudot：定长电报编码；
1924 年，Nyquist：给出了给定带宽的电报信道上无码间串扰的最大可用信号速率；
1928 年，Hartley：在带限信道中当最大信号幅度 Amax，幅度失真为 Ad 的条件下存在一个可靠通信的最大数据速率；
1939-1942 年，Kolmogorov 和 Wiener：最佳线性 Kolmogorov-Wiener 滤波器；
1947 年，Kotelnikov：基于几何方法的各种相干解调。
1948 年，贝尔实验室：研发出小型电子半导体器件「晶体管」transistor；Claude Elwood Shannon 发表专题论文《通信的数学理论》「A mathematical theory of communication」。
出奇简单的「晶体管」设备，比真空管效率更高，体积更小，更容易集成。「晶体管」transistor 的名称，由 transconductance（跨导）和 varistor（压敏电阻）两个单词合并而成，沿用至今。贝尔实验室表示，「晶体管」将对电子和电信行业产生深远影响。此后，晶体管引发了电子技术的科学革命，半导体技术微型化和开始普及。但这只是这场电子行业革命的硬件部分。
「晶体管」transistor 发明者 Wiliam Bradford Shockley、John Bardeen、Walter Brattain 三人获得了 1956 年诺贝尔物理学奖
同样在 1948 年，Claude Elwood Shannon 一篇专题论文《通信的数学理论》「A mathematical theory of communication」价值可能更加巨大。论文的唯一作者，当年 32 岁的 Claude Elwood Shannon 自行定义了一个新的单词——bit「比特」。
Claude Elwood Shannon 认定，信息是和长度、重量这些物理属性一样，可以测量和规范。如今，比特作为衡量信息多少的单位，与公尺、千克、分钟一样，成为日常生活中的最常见的量纲之一。
用 bit 作为量纲衡量后，人们发现信息几乎无处不在。比特 bit 的出现在后来引领了电脑、网络、摩尔定律，和如今发达的信息产业、比特币与区块链。
同时，Claude Elwood Shannon 提出用信息熵 entropy 来定量衡量信息的大小，并为信息编码提供了理论上的最优值。
他从理论证明：只要通信速率低于信道容量，总可以找到一种编码方式，使得误差概率接近于零。而信道容量可以通过香农公式，依信道的带宽、噪声特征简单地计算出来。这结论震惊了整个通信理论界，自此开创了「信息论」这门伟大的学科。
独轮车上的 Claude Elwood Shannon
密码从艺术转变为科学
1949 年，Claude Elwood Shannon 基于 1945 年他在贝尔实验室完成的机密报告「A Mathematical Theory of Cryptography」公开发表了《保密系统的通信理论》一文，开辟了用信息论来研究密码学的新思路。《波士顿环球报》称，「这一发现将密码从艺术变成为科学」。论文发表后，香农被美国政府聘为政府密码事务顾问。
「A Mathematical Theory of Cryptography」使 Claude Elwood Shannon 成为近代密码理论的奠基者和先驱
可以说《保密系统的通信理论》奠定了现代密码理论的基础。他提出，「从密码分析者来看，一个保密系统几乎就是一个通信系统」。密码系统中对消息的加密的作用，类似于信息中存在的噪声。密钥的随机性是关键所在。
这使「信息论」成为密码研究与分析的重要理论基础，将密码学从艺术变成了科学。传信系统中的信息传输、处理、检测和接收过程，与密码系统中的加密、解密、分析和破译过程，都可以用信息论观点统一分析研究。
Claude Elwood Shannon 曾在论文里指出，优质密码系统的设计问题本质上是寻求一个困难问题的解，使破译密码等价于解某个已知数学难题。受此思想启发，Bailey W. Diffie、Martin E. Hellman 于 1976 年在《IEEE Transactions on Information Theory》上发表论文「New Direction of Cryptography」诠释密码学的新方向，同时标志着公钥密码学的诞生，Diffie 与 Hellman 也因此在 2016 年获得图灵奖。
在铁器时代、蒸汽时代之后，人们进入了信息时代。马歇尔·麦克卢汉在 1964 年评论道： 人们曾经以采集食物为生，而如今他们要重新以采集信息为生。信息远不止局限在通信行业，早已渗透到了各个科学领域。
正如信息论学科的著名学者 Richard Blahut 在美国密歇根州 Gaylord 镇举行香农塑像的落成典礼上所说的，两三百年之后，当人们回头再看我们这个时代，他们可能不会记得谁曾是美国总统，谁曾是影星、歌星。但可能会知晓 Shannon 香农，因为学校里仍在教授「信息论」。
