一个理论改变了一个时代 —香农诞辰百年纪念 物理 信息论

长江

刘钢科学网博客   博文

一个理论改变了一个时代 ——香农诞辰百年纪念  精选

已有 1801 次阅读 2016-11-20 21:26 |个人分类:人物记事|系统分类:人物纪事

       今年是信息论的创始人香农（C. E. Shannon，1916-2016）诞辰100周年。他于1948年发表了著名的文章“通信的数学理论”（A Mathematical Theory of Communication）创建了信息时代的理论基础——信息论。香农因而被称为“信息论之父”。说来奇怪，数学理论的形成和出现都是一步一步逐渐实现的。可香农的文章甫一问世，就是个成熟的理论。这颇有点儿令人感到惊诧。香农是美国贝尔电报电话公司的一位很低调的数学家和电器工程师，1938年他曾将沉睡多年的布尔代数应用于电路设计中，让布尔代数第一次找到了用武之地，从此布尔代数就成为电路和计算机运行的必不可少的逻辑工具。那么他的信息论似乎也是这样。1924年，美国物理学家奈奎斯特（N. Nyquist）发现，如果以一个确定的速度来传输电报信号，就需要一定的带宽，这就是所谓的奈斯奎特定律，即信道的极限速率（码元速率）等于信道宽度（低通信道）的2倍。奈氏的贡献是将信息率与带宽联系了起来。1928年哈特莱（R. V. Hartley）进一步深化了奈奎斯特的工作，在他的“信息传输”（Transmission of Information）一文中，不仅将“信息”一词作为科学术语提了出来，而起还提出信号（信道）在时间T的持续中的带宽Ω拥有一个自由级的数，即2ΩT，因此该带宽便可以传输最大的信息量。他还定义了等概率N的可能状态等于log2N.前人的工作对香农信息论的思想还都是有影响的。





香农在工作

香农在1943年曾与英国逻辑学家和数学家图灵（A. Turing）有过交集。当时图灵正在美国访学，但却各事其主。他们各自具体的工作都涉及到军方机密，因此均守口如瓶。那时他们二人均在从事密码分析工作，但目标却相反。图灵要对付如何破译德军的密码，以避免德军的U型潜艇对英国商船的袭击。而香农的工作则是探究X系统的工作，该系统就是用来加密通信的，以确保坐阵五角大楼的罗斯福和在大西洋另一端丘吉尔办公室之间的语音通话不被窃听。一个是破译通信密码，一个是加密通信内容。既然密码的问题不能进行讨论，那就谈些纯的学术问题吧。图灵给香农看来他1936年写的那篇著名文章“论可计算数及其在判定问题上的应用”。图灵所谓的“判定性问题”就是能否发现严格的、分步的算法，给定某种演绎推理的形式语言，这样就可以用机器证明。这一思想呼应了莱布尼茨的梦想。莱布尼茨的梦想用现代计算机科学的术语表达就是“能行可计算”的过程。

1945年，香农终于完成了“密码术的数学理论”的保密报告。从密码分析的角度看，系统中的有噪通信系统与密码系统没什么不同，数据流故意被弄得表面上看上去是随机的。但事实上绝非如此，否则其中的信号也会丢失。从某种意义讲，密码也是一种语言，就像日常语言一样，是符合一定模式的东西，换句话说，密码深处也具有相应的模式隐匿其中。从语言学的角度出发，当时的语言学家就是试图从语言含糊不清而又连绵不断的形状和声音中找出其结构。语言学家萨丕尔（E. Sapir）在1921年的名著《语言论》中便论述道：“单个语音并不是言语的实质性事实；语言的实质性事实毋宁说在于思维的分类、形式模式……语言，作为一种结构来看，它的内部是思维的模具。”多么精致的描述，语言的特质是“思维的模具”！香农的任务就是需要找到比日常语言更有形，更易数的方式来描述语言这种“思维的模具”。香农的这篇文章于1949年解密后发表，题目是“密码术的数学理论”。该文刚一发表就引起轰动，香农也随之为美国政府聘为密码事务顾问。这篇论文为对称密码系统的研究建立了一套数学理论，从此密码术变成为密码学了，由一门艺术或技艺变成一门真正的科学。香农曾在这篇论文中指出，好的密码系统的设计问题本质上是寻求一个困难问题的解，使得破译密码等价于解某个已知数学难题。这句话含义深刻，但却不难理解。不就是老师出了道数学难题，学生就要解题吗？如果老师的水平高，学生水平低，肯定就无法解答数学题了。

也就是在这篇保密报告中，香农几乎随意使用了先前无人用到过的说法，这就是“信息论”（Information Theory）。要想建立用数学建立信息论的理论，香农首先要做到将信息中的“意义”去除。这个打了引号的“意义”是香农自己加上的。他曾高兴地说，对于信息论而言，可以不去考虑“意义”的问题。之所以在用数学的语言描述的信息论中剔除“意义”的目的，在于使自己的研究更加清晰明确。他需要把握的是“信息”而非“意义”，在此之前奈斯奎特和哈特利都注意到了这一点，香农也希望将信息集中在“物理”层面，排除其中的“心理因素”。可是，抽去语义的信息还会剩下什么呢？对这个难题，有几种可能的回答，例如信息可以是不确定性，是困难程度，也可以是熵。



香农在贝尔实验室

香农的关于信息论的文章于1948年分二期发表在《贝尔系统技术期刊》上。这份出版物几乎没有什么图书馆订阅，类似于我们今天某单位的内部参考之类。当时的研究人员几乎是靠口口相传的蠢笨方式获知香农的工作。于是就纷纷给香农直接写信索要该文的复印本。即便如此，也没几个人能读懂香农的文章。原因是工程师认为该文数学内容太深了；数学家又对文章中的工程学背景缺乏了解。可是，毕竟还是有慧眼识金的人物。时任洛克菲勒基金会自然科学部主任的韦弗（W. Weaver）认识到该文的价值。他告诉基金会的主席，香农之于通信理论的贡献，就如同“吉布斯之于物理化学”。1949年，韦弗在《科学美国人》杂志发表了一篇不是很技术化的赞誉香农工作的普及文章，深入浅出地介绍了香农工作的重要性。之后韦弗的文章和香农的论文被集结成书，以《通信的数学理论》(The Mathematical Theory of Communication)为题公开出版。请注意，香农的论文题目用的是不定冠词“A”，而韦弗与他合著的书却用了定冠词“THE”。在英语中，从不定冠词变为定冠词马上就从谦虚变为自负！难道香农的信息论不是自负的一种理论吗？它的问世改变了一个时代！

贝尔实验室于1948年分别诞生了二项重要成果，一项是肖克利（W. Shockley）等三人发明替代电子管的晶体管，那是终结电子管的产品（肖克利等三人因此获1956年的诺贝尔奖）；一项就是香农的信息论，那是开创新时代的数学理论。香农的信息论究竟是个什么理论？我们说是个“数学理论”，关于“通信的”数学理论。作为常人，似乎会认为通信的基本问题是让自己的意图被人所理解，传递的是意义。可对于数学家的香农而言，则大错特错了。他认为：“通信的基本问题是，在一点精确地或近似地复现在另一点所选取的讯息。”香农所说的“点”（point）是经过进行选择的。它意味着，讯息的信源和信宿可在时间上相分隔。同时，讯息并非创造出来的，而是选择出来的。换句话说，一条讯息就是一个选择，选择可以多种多样。当然，香农还是不能不考虑到意义的问题，可作为数学家，他还是将其拒斥在数学门外：


这些讯息往往都带有意义，即根据某种体系，它们指向或关联了特定的物理或概念实体。但通信的这些语义因素，与其工程学问题无关。


香农仅仅从数学的角度解释信息，常常被人所诟病。认为他的信息论是狭隘的。对信息的诠释过于狭窄。我想作为数学家的香农，他也无可奈何。毕竟数学是不是科学，而是科学的工具，具有高度的抽象性；要想让具有高度抽象的数学负荷内容，难免免为其难。还是韦弗努力进行了解释，说这不是一种狭隘的通信概念，恰恰相反，这样的概念包罗万象：“不仅涵盖了口语和书面语，还有音乐、图像艺术、戏曲、芭蕾乃至所有的人类行为。”其实还包括非人类，机器就没有讯息要传递吗？按照中国人的理解，“少既是多”来说明香农对信息的解释，似乎再恰当不过了。即便如此，香农还是被人“追杀”，他最后实在没办法，干脆就说了句尴尬的话：


“‘信息’这个词在信息论的一般领域已经由各位作者赋予不同的意义。至少，这些意义很可能在某些应用领域充分证明是有用的，需要进一步的研究和做出永久性的承认。几乎不能指望一个单一的关于信息的概念能够令人满意地对一般领域的各种应用负责。”


香农为了避免继续被“追杀”，干脆对他提出的“信息”的概念放任自流了。别的领域爱怎么用就怎么用吧，只要你们能自圆其说。所以直到今天，信息无论是在哪个领域也没有一个定于一尊的定义！实际上，信息是一个不能被定义的“元概念”。颇有点儿像奥古斯丁（A. Augustinus）关于“时间”的说法。在其《忏悔录》卷十一中他说：“什么是时间？……如果没人问我，我知道它是什么。如果我想对他解释什么是时间，我却不知道了。”信息是否也和时间一样呢？

香农和图灵二人都使用编码，图灵是将指令编码变成数，将十进制数编码成0和1，而香农是对基因、染色体、继电器和开关编码。香农的博士论文题目就是《理论遗传学的代数学》。很多人不知道这篇论文写的是什么，都只是从题目上扫那么一眼，认为就是用数学方法研究人类遗传学的。其实这篇文章的直到今天都没有引起注意，一个原因是该文直到1993年才被正式发表。另一个原因恐怕与他当年的《通信的数学理论》一样，工程师认为数学太深，数学家没有工程学背景。同样，现在这篇论文也是，遗传学家看不懂，数学家不去看的论文！舅舅不疼，姥姥不爱。想当年，贝尔实验室的卫星通信专家皮尔斯（J. L. Pierce）对香农的工作所言，香农的工作宛如一枚定时炸弹，而且有点儿像是枚延时炸弹。又有谁能想到香农的这篇博士论文就不是呢？IBM公司的数学家蔡汀（G. Chatin）不久前撰写了一本《证明达尔文：进化和生物创造性的一个数学理论》（Proving Darwin：Making Biology Mathematical）的书。他就是希望用数学的方法证明达尔文的进化论，试图揭示生物学深层的数学结构，开辟了一个称之为“元生物学”的新领域。那谁能保证香农的博士论文就不会是未来遗传学研究的一个崭新方向呢？如果说《通信的数学理论》是颗原子弹的话，那么《理论遗传学的代数学》就有可能是枚氢弹！

香农和韦弗的小册子1949年出版了。但依然没有引起关注。数学家杜步（J. L. Doobe）为其撰写了第一篇书评。杜步在书评中对该书颇表不满，认为“作者运用数学的动机并不总是那么正大光明。”，整个讨论的“暗示”多于数学推导。还有一份来自生物学的期刊评论道：“初看起来，这主要是本工程学专著，对于解决人类实际问题用处不大，或甚至跟本没用。但事实上，该理论具有许多当今令人振奋的意蕴。”《哲学评论》称，哲学家不应忽视这本书（的确不应忽视，否则也就没有今天的信息哲学了！）：“香农提出了一个‘信息’的概念，并且令人惊讶的是，信息这个概念竟然是热力学中‘熵’的延伸。”此前，香农曾与冯·诺依曼（J. von Neumann）讨论过他的工作，冯·诺依曼比香农年长13岁，是香农最佩服的人之一。

“熵”是信息论中最基本最重要的一个概念，香农最初想用“信息” （information） 来表达这一概念，但这个词当时已经被用滥了。香农便放弃用信息这个词。冯·诺依曼建议香农用“熵”；并给出二个理由：一是香农原本想用的“不确定性”（uncertainty）这个概念已经用于统计力学，二是没人知道“熵”倒底是什么，用它不会引起争论。不过冯·诺依曼毕竟见多识广，他早就知道“熵”已被用于热力学系统，但却仅是一个可以通过热量改变来测定的物理量，其本质仍没有很好地得到解释。正如所料，“熵”这一概念被延伸到信息论后，其本质才逐渐被解释清楚，信息论对熵的本质的解释就是“系统内在的混乱程度”。汉语中本无“熵”字，1923年德国物理学家普朗克（M. Planck）来华讲学时用到entropy这个词，由于entropy在表达形式上是两个量相除的商，我国著名物理学家胡刚复教授在现场口译时，把这个词翻译成“商”字加“火”旁创造了汉语的一个新术语“熵”。

最终，香农采纳了冯·诺依曼的建议，在信息论中提出了“信息熵”或“香农熵”的概念，解决了信息的量化度量问题。一条信息的信息量大小和它的不确定性有直接关系。例如，我们要弄清楚一件很不确定的事情，或者我们一无所知的事情，就需要大量的信息。相反，如果我们对某件事已经有了较多的了解，就无需太多的信息就够了。所以，从信息论的角度看，信息量的度量等于不确定性的多少。信息熵的数学表达式很简洁：




香农与韦弗的小册子发表后，终于让维纳（N.Wiener）坐不住了。他在《物理评论》写了那么很难算得上是书评的话。开篇维纳倚老卖老地说：“大约15年前，一名非常聪明的年轻学生向麻省理工学院的教授提出了自己的一个设想，试图建立一种基于逻辑代数的电动开关的理论，这名学生就是香农。”维纳比香农大22岁，也算是神童。俗话说，老不跟少斗，可维纳似乎没有意识到这一点。紧接着，维纳说香农与韦弗的小册子“总结了他对于通信工程的见解。”听听，原来香农的工作不过是对他的工作进行了总结。维纳认为，香农提出的基本见解是“把信息量视为负熵”，可却立即补充道，他自己也几乎在同一时间产生了相同的见解。不过维纳还是承认，他们之间的工作是相互独立的。

维纳于1948年出版了他的奇书《控制论——关于动物和机器中控制和通讯的科学》维纳还指出，香农对于语言的讨论没有给予语言在人类神经系统内的通信过程以更多重视。毕竟是同行，难免有些醋味，“我这样说并不是为了吹毛求疵。”最后维纳用了一大段文字介绍了自己的《控制论》：


而在我的书中，作为作者，我有幸从更思辨的角度，讨论比香农和韦弗博士所选的更广阔的话题。我希望重申，在一个新领域……不仅有空间，而且也确实需要种种在现实性或思辨性上各具特色的著作。


维纳这就不对了，难免不招人待见。这不明摆着说，咱们走着瞧，看最终的结果如何。其实，香农对维纳的这种不低调做人的态度也很不以为然。此前，香农在《无线电工程师学会学报》上针对维纳的《控制论》写过一篇短评，虽是赞赏，可程度却很一般，认为该书是一本“出色的导论”。这一老一少的关系有点儿紧张，韦弗在《通信的数学理论》中开篇就有一大段脚注：


香农博士强调，他的通信理论在基础哲学原理方面颇多受益于维纳教授。另一方面，维纳教授也指出，香农在开关和数理逻辑方面的许多早期研究是在他对该领域产生兴趣之前，并且他大度地补充道，引入熵的思想，将之作为该理论的基本思想，确实是香农一个人的功劳。


事情果真如维纳所言“把熵理解为负熵”是他与香农相互独立的见解吗？香农的同事皮尔斯后来说，“那时维纳满脑子沉浸在自己研究……一些有识之士告诉我，维纳误以为自己早已得出了香农所得到的结论，但其实他从来都没有得出过。”从1940年香农拿到硕士起，他花了整整8年时间，为通信系统建立了一整套数学理论。他的理论涉及整个通信过程，包括通信源头、数据压缩、信道编码、信道噪声、解调、检错、纠错等。该理论关注了最佳通信系统的性能和接近该性能的方法。1948年瓜熟蒂落，信息论诞生。这篇划时代的论文至今仍在指引和启迪后人的研究工作，而且在越来越多的领域展现出意想不到的成就。

香农是位兴趣广泛的人，除了自己的研究工作外，他还喜欢各种活动。尤其令人称奇的是，他是位杂耍爱好者。他酷爱杂耍，曾制造过好几台杂耍机。经常有人见到他一边骑着独轮车，一边用四个球玩着杂耍，穿行在贝尔实验室的大厅里。毕竟是搞数学出身，他竟然提出一套杂耍统一场论：用B代表球的数量，H代表手的数量，D表示球在手中度过的时间，F代表每个球的飞行时间，E代表每只手不拿球的时间，那么B/H=（D+F）/(D+E).可是他的这个理论却帮不了香农同时抛出四个以上的球。可是他却强词夺理，认为那是他的手比较小的原因。他有一间摆放玩具的房间，在最显眼的位置挂着装裱好的名为“杂耍学博士”的证书，可能还真有这样的博士学位呢。看起来他对获得这个博士学位感到非常自豪。

长江

老年香农

       从不抛头露面的香农于1985年出现在英国布莱顿举办的IEEE信息论会议上。会议开了一半，与会者才发现香农来了，很多人都以为香农早已不在人世。当大会主席说服香农给参会者致辞时，会场瞬间沸腾起来。香农讲了几分钟，可能是怕听众听得不耐烦，竟然从口袋里拿出三个小球玩起杂耍。听众彻底疯狂了，排长队索要签名。有人回忆当时的情景时说，“就好像牛顿出现在物理会议。”到了晚年，香农患上阿尔茨海默症。他在一家私立医院里度过了晚年，逝世于2001年2月24日。这正是信息时代到来的前夜，可他却永远看不到了。在香农塑像落成典礼上，著名信息论和编码学家布劳胡特（R. Blahut）这样评价香农：“……两三百年后，当人们回过头来看我们的时候，他们可能不会记得谁曾是美国的总统，可能也不会记得谁曾是影星或摇滚歌星，但人们仍然会知晓香农的名字，大学里仍然会教授信息论。”




香农塑像




参考资料：


[1] J. Gleick，高博译：《信息简史》，人民邮电出版社，2013年，第201-231页.

[2]张卫国，高新波，蒋洪波：香农的贡献及其对后世的影响，《中国计算机学会通讯》，2016年第10期.

[3] E. Sapir：《语言论：言语研究导论》，外语教学与研究出版社，第21页.

[4] G. Chatin，陈鹏译：《证明达尔文》，人民邮电出版社，2015年.

[5] L. Floridi, 刘钢编译：信息哲学的若干问题，《世界哲学》，2004年第4期.

[6] L. Floridi, 刘钢主译：《计算与信息哲学导论》（上册），第四章“信息”，商务印书馆，2010年，第123-166页.

图片来自网络：向图片所有者致谢！

http://blog.sciencenet.cn/blog-105489-1015851.html



刘钢的博客

工作情况：
中国社会科学院哲学所，研究员
研究领域：
管理综合->哲学

王兴

评论：

[17]guhanxian  2016-11-21 21:53
帕金森、阿兹海默症、乃至癌症高血压糖尿病等，主要原因系衰老所致。防治效果不佳乃系没钱（缺经费）加没人才（缺医学和行政精英）。

[16]guhanxian  2016-11-21 21:34
博主的观察是对的。帕金森、阿兹海默症的确是动脑子过量所致。



评论：

[15]guhanxian  2016-11-21 15:49
据说原中国领袖之一邓小平主要因帕金森症逝死，最近原中国领袖之一H，也刚73足岁多也被怀疑帕金森症。而得癌症的政治家、科学家、企业家等更多。这些衰老性疾病的防治效果不佳呢。

是没钱还是没人才呢。

[14]guhanxian  2016-11-21 15:23
百度等：

克劳德·艾尔伍德·香农
克劳德·艾尔伍德·香农（Claude Elwood Shannon ，1916年4月30日—2001年2月24日）是美国数学家、信息论的创始人。1936年获得密歇根大学学士学位[1]  。1940年在麻省理工学院获得硕士和博士学位，1941年进入贝尔实验室工作。香农提出了信息熵的概念，为信息论和数字通信奠定了基础。

1958年麻省理工学院（MIT）正式教授，1978年退休（约62岁）。2001年，83足岁多，因阿尔兹海默症去世。一个天才人物，有点可惜。

衰老学研究的良例。