香农:把决策压进一个概率分布
2026-07-15
1948年,贝尔实验室的工程师们正为电话线路上的噪声焦头烂额。他们测试不同的调制方案,计算带宽,试图在铜线上挤出更多通话容量。香农看到的不是这些。他看到的是:通信的本质无关乎声音、文字或情感,它是一个统计学问题——发信者从已知的消息集合中选取一条,收信者根据收到的信号猜出是哪一条。收信者事先知道消息集的出现概率。信息的量,等于收信者在收到信号前的不确定性。他用一个公式量度了这个不确定性:H = -∑ p log p。这是他的原初决策:忽略消息的语义、语境、意图,只留下一个概率向量。
这个决策的根扎在1937年。那时香农22岁,在MIT写硕士论文。他面对的问题是如何设计继电器电路。当时的工程师画电路靠经验和试错。香农发现,开关的“通”与“断”可以对应布尔代数的“真”与“假”。他剥掉了电压、电流、元件尺寸,只留下逻辑值。电路设计变成了方程求解。这篇论文后来被称作“本世纪最重要、最著名的硕士论文”。他从中获得了一个此后不断复现的判断武器:把问题简化到只包含两个对立变量,然后用数学表达它们的关系。
十年后,他把这个武器对准了通信。他当时知道奈奎斯特1924年关于信号速率的著作,知道哈特利1928年提出的信息量公式 I = log N(N为等可能消息数)。哈特利的公式只能在消息等概率时成立,真实世界的消息从不均等。香农的突破是引入概率分布。他后来向采访者描述当时的思考:“我任由思绪漂流……我问自己:信息到底是什么?”(注:出自1992年《Scientific American》对香农的采访,原话为”I just wondered what would happen if you thought about information in a statistical way.”)他的推理链清晰可复现:如果收信者已经知道你会发哪个字,那么收到这个字时信息量为零;字越出乎意料,信息量越大;信息量应当是可加的。这三个条件逼出唯一的数学形式——对数概率的负期望。他没有依赖工程测量的累积,而是直接从功能定义推导出数学必然性。
紧接着他做了一个更深的决策。他在脑中搭建了一个完全抽象的通信系统:信源、编码器、信道、噪声源、译码器、信宿。他定义了信道容量C——信道每秒能无差错传输的最大比特数。然后他用一个存在性证明断言:只要信源码率低于C,就必然存在一种编码使错误概率任意小。注意,他没有构造那个好码。他只是先标出理论边界,告诉所有后来者:翻过这座山之前别迷路。这个“先找边界再谈可能”的决策顺序,成为他处理一切问题的固定程序。
二战期间,这个程序已经在密码学里淬过火。1940年代初,香农参与贝尔实验室的SIGSALY保密电话项目,负责将语音转为数字脉冲并加密。他与来访的图灵在贝尔实验室的食堂里讨论密码和计算。图灵那时已经画出通用计算机的轮廓。香农之后发表《保密系统的通信理论》(1949),把密码系统拆成信源、密钥、密文,三者用概率连接。他将破译定义为“在已知密文和部分先验概率时推测消息和密钥”,这正是通信问题的反向版本。他直接借用了信息熵公式定义了“疑义度”(equivocation)。他看到:绝对保密的密码系统等价于一个容量为零的信道——无论截获多少密文,疑义度不下降。这正是“一次一密”的结构。他不是通过分析具体破译技巧得出这个结论,而是通过剥离语言结构、只留概率分布,然后计算理论下限。这个决策再次省去了无意义的工程细节,用数学必然性切开了密码学的硬核。
1950年,香农在贝尔实验室造了一只老鼠。这只名叫忒修斯(Theseus)的机器老鼠能在迷宫中穿行,撞到挡板后倒退、转弯,最终找到出口。第二次放进同一迷宫时,它凭借继电器存储的路径记忆径直走出去。香农造这只老鼠的目的不是娱乐。他在回答一个问题:“机器能思考吗?”他的决策方式一如既往:把“思考”简化为“在迷宫中记住路径”。他用75个继电器和一台电机搭出了所有必要的逻辑。当时的计算机还是个庞然大物,他偏用最少的硬件逼出学习行为的本质。他后来对《Omni》杂志说:“我总是在寻找这样的问题:它们足够简单,你能真正弄懂;但又足够深刻,弄懂之后你会对更复杂的问题有所领悟。”(1987年采访)
这就是他选择问题的过滤器:不是实用,不是宏大,而是“简单性深度”(deep simplicity)。一个问题如果可以被他剥到只剩两个逻辑变量,就可以上他的工作台;如果需要保留大量经验参数,他就放下。他的办公室堆满他自己焊的玩具:会下棋的机器臂、会抛三个球的杂耍装置、一台用罗马数字计算的计算机THROBAC——全是用裸露的继电器和电线搭成。每一件玩具都在验证一个剥离表皮后的核心原理。他不上项目,不组团队,不申请经费。上司允许他自由游荡。贝尔实验室的数学部门主管亨利·波德说过:“我们雇用他不是为了让他干别人能干的事。”
香农的失败同样刻着他的指纹。1960年代,他迷上投资。他试图把市场看作一个随机序列,用信息论寻找交易策略。他设计了一个思想实验“香农的恶魔”:假设一个股票价格随机波动但长期持平,通过不断在现金和股票间再平衡,就能从波动中套利。他还实际管理了自己的投资组合,并给朋友开讲座讲“科学投资”。但他的实际收益主要来自长持摩托罗拉、惠普等科技股——这些决策依赖他对技术的直觉,而不是信息公式。他试图用剥离语义的方法处理市场,但市场不是信道。市场里的参与者会观察对方的策略、改变自己的策略。概率分布不是固定的,而是博弈均衡的涌现。香农晚年放弃了在金融数学上的野心。他的简化武器在这个领域钝了,因为系统的变量互相定义,无法被压进固定的概率分布。
这个失败划出了他认知机制的适用边界:他擅长处理那些底层规则恒定、参与者不对规则做出适应性改变的“死”系统——通信、电路、密码、迷宫。而市场、政治、人际关系这类“活”系统,变量会在你测量它们的瞬间改变行为,他的方法就失去了解释力。他自己知道这点。他在1956年的短文《涨潮》(The Bandwagon)里警告过:“信息论在心理学、经济学及其他社会科学中的流行虽然令人兴奋,但其承载的希望被夸大了许多……用其他方法同样能达到这些效果。”他不是客气,是在保护一个锐器的刃口不被滥用损毁。
香农判断机制的底层模式可以拆成三个连续动作: 第一步,定义理想系统。 不考虑成本、技术、人力,只问:如果这个系统完美运行,它最纯粹的形态是什么?对于通信,是发送端和接收端共享一套概率约定。对于密码,是密钥长度等于消息长度。对于迷宫老鼠,是路径记忆的布尔化。 第二步,找出必须保留的最小变量集。 删除所有可以删除的物理属性,直到剩下的东西恰好能描述问题。这把“信息”删成了概率分布,把“思考”删成了路径存储,把“安全”删成了疑义度不降。 第三步,推导理论边界。 不先找解,先找任何可能解都必须服从的上限或下限。信道容量、一次一密、迷宫可解条件——都是存在性边界。边界一旦立定,所有现实方案都只能在此范围内被评判。
这三个动作的组合形成了他独特的决策节奏:先向上抽象到几乎荒谬的极简层,再向下用数学逼迫出必然结论,最后用一个具体而微的硬件装置把结论拉回地面。他的学生和信息论共同奠基人罗伯特·法诺说过:“香农有一种神奇的本事,能从混乱中抽出那两三件真正重要的东西,其余的全部扔掉。”
普通人不是电路工程师,也不是密码学家。如何复用这个节奏?不是去读信息论教材,而是拿走他的“极限测试法”。当你面对一个复杂决策(职业转折、项目取舍、风险判断),做三张卡片: 卡片一: 写下你对当前局面所知的一切,只写可核实的数据,不写你的解释、故事或情绪。每个数据旁边标一个你估的概率(60%把握这件事会发生?30%?)。 卡片二: 定义“完美结果”——假设所有不确定性奇迹般消失,你得到的最佳终局是什么样。把理想结果写成一个二值变量:我是否得到X?X必须是具体到可以判定真假的陈述。 卡片三: 计算信息差距。你现在到X还有多远?哪个动作能让你对X的确定性增加最多(即消除最多比特的不确定性)?只做那个动作。忽略在这一动作之前的所有次要准备、所有求安心的忙碌、所有在无关变量上的优化。
香农有一句话应被刻在任何人的决策桌上:“信息是消除的不确定性。”他的整个一生就是在忠实地执行这个定义:只关注那些能改变概率分布的证据,只投资那些能让不确定性坍缩的实验,只保留那些无法进一步删减的结构。他做的从来不是收集更多信息,而是用最少的参数撬动最大的确定性增量。他在1948年的论文里写道:“一旦我们剥除了消息的意义,就会发现通信系统的本质问题与热力学中的熵具有深刻的数学相似性。”他剥掉了意义,留下了必然。这是他的决策锋刃,也可以成为任何人的。