70 年前一个男人和妻子在客厅玩了个猜字母游戏
如果你是关注AI时代发展，今年多半听过一个东西叫 Claude Code。它是 Anthropic 公司做的一个命令行工具——打开终端、输一句话，它就能帮你看完整个代码库、改 bug、写新功能、跑测试。很多硅谷的资深程序员现在每天都用它。
但你有没有想过一个奇怪的问题：为什么这个东西叫 Claude？
Anthropic 没正式解释过，但行业里默认的答案是：致敬克劳德·香农（Claude Shannon）。
这个名字今天的程序员大多没听过。但 70 年前，他是 20 世纪美国最重要的数学家之一。他和图灵、冯·诺依曼是同一代人，但中国读者熟悉的只有那两位。
我想花一些篇幅讲讲他这个人，以及他和今天的 ChatGPT、Claude、AlphaFold 之间，那条被大多数人忽视的直线。
一个 21 岁的硕士生改写了世界
1936 年，20 岁的香农在密歇根大学拿了数学和电气工程的双学士，进了 MIT 读硕士。
那年暑假他在贝尔实验室打工，干的活儿是操作那种老式电话交换机——一堆继电器，靠"通"和"断"两种状态完成接线。这工作很枯燥，但香农在这堆继电器里看到了一个别人没看到的东西。
他想起本科课上学过的布尔代数——19 世纪英国数学家乔治·布尔（George Boole）发明的一套逻辑符号系统，用 0 和 1、与、或、非来描述命题。这东西在数学家圈子里属于"漂亮但没什么用"的玩意儿。
香农的洞见是：继电器的"通"和"断"，可以直接对应布尔代数的 1 和 0。也就是说，电路可以被当作逻辑来设计，逻辑也可以被当作电路来实现。
他把这个想法写成了硕士论文《继电器与开关电路的符号分析》（A Symbolic Analysis of Relay and Switching Circuits）。那年他 21 岁。
这篇论文后来被哈佛心理学家霍华德·加德纳（Howard Gardner）称为"可能是 20 世纪最重要、也是最著名的硕士论文"。说得不算夸张——你今天用的所有电子设备，手机、电脑、芯片，底层都是布尔代数控制的开关电路。这套范式是香农 21 岁那年定下的。没有这篇论文，就没有数字计算机。
但这只是他干的第一件大事。
1948 年那篇论文
1948 年，32 岁的香农在贝尔实验室发表了一篇 79 页的论文，叫《通信的数学理论》（A Mathematical Theory of Communication）。
这篇论文把"信息"这个之前一直模糊的概念，变成了一个可以测量、可以计算、可以优化的物理量。
香农引入了一个核心概念：熵（entropy）。一段信息的熵衡量的是它有多"不可预测"。完全规律的东西（比如全是 a 的字符串）熵为零；完全随机的东西（比如均匀分布的乱码）熵最大。一切实际的语言、图像、声音都在中间。
这个概念有什么用？
它告诉你：任何信息都可以被压缩到一个理论极限，这个极限就是它的熵。这是为什么 zip、JPEG、MP3 能工作——它们都在逼近香农极限。
它还告诉你：任何信道都有一个传输容量，只要传输率低于这个容量，就可以做到任意低的错误率，哪怕信道有噪声。这是为什么手机、Wi-Fi、深空探测器能可靠通信。
整个数字时代就建立在这两条定理上。香农一个人在贝尔实验室的办公室里，造出了一个新学科：信息论（information theory）。
后来人们叫他"信息论之父"。这个称号其实降格了他——他不是这个学科的"父亲"，他就是这个学科。1948 年那篇论文出来之前，"信息"还不是一个数学对象；论文出来之后，它是了。
顺便讲讲这个怪人
讲了这么多正经事，得讲点不正经的，不然香农会显得不像真人。
他在贝尔实验室是出了名的怪人。下班后他会骑独轮车在走廊里穿梭，而且边骑边玩三个小球的杂耍。他认真研究过杂耍的数学，写过相关论文。
他造过一台叫"终极机器"（Ultimate Machine）的东西——一个小木盒上有一个开关。你打开开关，盒子顶上会伸出一只机械手，把开关关上，然后缩回去。就这么个东西。它的全部功能就是把你的操作撤销掉。科幻作家亚瑟·克拉克（Arthur C. Clarke）形容这玩意儿"令人不安"。
他还造过世界上第一台下棋的机器（1950 年）、世界上第一台走迷宫的机器（一只叫忒修斯 Theseus 的机械老鼠，也是 1950 年）——这些后来被认为是人工智能最早的几个实物原型。
他既是 20 世纪最严肃的数学家之一，又是一个永远在玩玩具的孩子。他研究的所有东西，从某种意义上都是"玩"。
而他玩得最有意思的一次，发生在 1951 年的客厅里。
客厅里的猜字母游戏
1951 年，香农 35 岁。信息论问世已经三年，全世界的工程师才刚开始消化这套理论意味着什么。
但香农自己心里有一个问题没解决：英语这门语言，每个字母平均带多少信息？
按理论最大值算，26 个字母加空格大约是 4.7 比特/字母。但真实英语显然没这么"满"——字母之间有规律：q 后面几乎一定跟 u，th 后面经常是 e，单词长度有分布，句子有语法。这些规律意味着英语的真实熵远低于 4.7 比特。
那真实值是多少？
香农没去做什么复杂实验。他坐在家里的客厅里，把妻子贝蒂（Betty Shannon）叫过来——顺带说一句，贝蒂自己也是贝尔实验室的数学家——找了本英文小说，开始玩一个游戏。
他打开书，盖住下一个字母，让贝蒂猜是什么。猜对就翻开下一个，猜错就告诉她正确答案然后接着来。一边玩一边在本子上记：猜了几次才对，每个位置的错误率是多少。
游戏玩完，他做了一些统计计算，得出一个结论：英语每字母的真实熵大约是 1 比特。
这个数字本身很重要——它告诉你英语理论上可以被压缩到原始大小的五分之一左右。但更重要的是：香农那个下午做的事，是人类历史上第一个语言模型实验。
为什么这么说？想想 GPT 在做什么。
给定前面的若干个字（"前文"），预测下一个字（"下一个 token"）。用预测的准确率衡量它学得多好。准确率越高，意味着模型对语言的概率分布把握得越准，也就意味着这门语言可以被压缩得越紧。
这就是 1951 年那个客厅游戏的工业化版本。贝蒂的大脑就是模型，香农的本子就是损失函数。今天我们用万亿参数的神经网络做同一件事，规模差了 14 个数量级，思想范式一字没动。
你今天看到的大语言模型术语，几乎都可以直接追溯到香农 1951 年这篇小论文：
交叉熵损失（cross-entropy loss）——衡量模型预测分布和真实分布之间的差距，是香农定义的熵的直接延伸 困惑度（perplexity）——衡量模型对下一个 token 有多不确定，就是 2 的交叉熵次方 规模法则（scaling law）——模型越大、数据越多、性能越好的那条平滑曲线，本质是逼近真实熵的速度
1948 年那篇论文给数字时代奠基。1951 年这篇十几页的小论文，埋下了另一颗火种。半个多世纪后，这颗火种长成了 ChatGPT 和 Claude。
AI 一代人的共同底色
讲到这里，把镜头拉远一点。
今天 AI 行业的几个核心玩家——OpenAI 的伊尔亚·苏茨克韦（Ilya Sutskever）、Anthropic 的达里奥·阿莫迪（Dario Amodei）、Google DeepMind 的德米斯·哈萨比斯（Demis Hassabis）、深度学习教父杰弗里·辛顿（Geoffrey Hinton）——他们的研究风格其实差别很大。但他们有一个共同点：都是在信息论的语言里长大的。
举三个具体例子。
第一个：哈萨比斯和 AlphaFold。
哈萨比斯领导 DeepMind 做出了 AlphaFold——一个能预测蛋白质 3D 结构的 AI。这件事被认为是过去十年生物学最重要的进展，也让他拿到了 2024 年的化学诺奖。
但要理解 AlphaFold 背后的思想根源，得往前推很多年。哈萨比斯年轻时受道格拉斯·侯世达（Douglas Hofstadter）——就是写《哥德尔、艾舍尔、巴赫》那位——的影响，吸收了一个核心观点：生物学本质上是一个信息处理系统。定义生命的不是肌肉或组织，而是赋予它们生命的信号。
后来在多格曼的影响下，他进一步深入研究了香农关于信息的理论——信息如何被量化、存储，如何在时间和空间中传输。香农用一个简单的方式定义了信息：信息是不确定性的对立面。从这个角度看，任何"减少不确定性"的过程，都依赖于经过智能处理的信息。而一个能把不确定性无限趋近于零的"万物理论"，极有可能以计算机程序的形式呈现。
这套世界观直接通向 AlphaFold。蛋白质的功能由 3D 结构决定，3D 结构由氨基酸序列决定——也就是说，结构这条信息是"编码"在序列里的，AlphaFold 做的事情就是解码。从噪声大的信道里把信号恢复出来，这是香农一眼就能认出的事。
第二个：阿莫迪和规模法则。
阿莫迪的智识背景和哈萨比斯有点像。他在普林斯顿读的是生物物理博士，导师威廉·比亚莱克（William Bialek）是把信息论引入生物学的代表人物之一——专门研究神经系统怎么编码、传输、解码信息。阿莫迪在博士阶段就泡在"用信息论看生物"那套思维方式里。
这套训练直接决定了他后来怎么看 AI。
2014 年他在百度跟吴恩达做语音识别，注意到一件事——模型越大、数据越多、算力越多，性能就越好，曲线异常平滑。他后来在 OpenAI 把这件事正式化，2020 年和合作者发表了《神经语言模型的规模法则》（Scaling Laws for Neural Language Models），把"规模法则"这个术语带进了行业。
行业里多数人把规模法则当作一种意外的工程运气。但阿莫迪自己不这么看。他在 Dwarkesh Patel 那期访谈里讲过一段话：
可预测的是这个统计平均值，是损失，是熵。而且它惊人地可预测——有时候精度能到好几位有效数字。这种事你在物理之外的领域基本看不到。
注意他用的词：熵、统计平均、物理。这不是产品经理的语言，是统计物理学家的语言。他在 Lex Fridman 那期访谈里说得更直白——他认为规模法则和物理学里的"1/f 噪声"分布是同一类现象。
逻辑很清楚：如果语言有一个固定的真实熵（香农 1951 年已经测出来了，约 1 比特/字母），那么任何学习语言分布的系统，性能上限就是这个熵。参数、数据、算力——你能堆的所有东西——都只是在帮你把估计误差往下压。曲线之所以平滑，是因为这是个数学问题。
用产品经理的眼光看，规模法则像奇迹。用信息论的眼光看，它就是个定理。阿莫迪看到的是定理，所以他敢押重注创立 Anthropic。
第三个：压缩即理解。
苏茨克韦有一个流传很广的说法：训练大语言模型本质上是在做无损压缩（lossless compression）。这不是修辞，是字面意义。
香农证明过：一段数据可以被压缩到多小，取决于它的熵；要逼近这个极限，你必须找出数据里的规律。找出规律，就是理解。所以一个能极致压缩语言的模型，必然是一个理解了语言背后世界的模型。GPT 之所以能涌现出推理能力，从这个角度看一点都不神秘——它被训练目标逼着学到了世界的结构，因为这是最有效的压缩方式。
这个洞察支撑了整个现代 LLM 范式。而它的根，就在香农 1948 年那篇论文里。
回到 Claude Code
讲了这么多，回到开头那个问题：为什么 Anthropic 把它最重要的产品叫 Claude？
现在你应该能感到这个命名背后的态度了。OpenAI 的名字直白地写着公司目标（开放的 AI）。Google 的 Gemini 取自双子星座，是文化符号。xAI 的 Grok 来自一本科幻小说。
只有 Anthropic 把自己的旗舰产品挂在了一个具体的、历史上真实存在过的数学家身上——而且是那个奠定整个数字时代地基的人。
并不是说 OpenAI 和 Google 不懂信息论——他们的研究员都懂，水平也不比 Anthropic 差。但 Anthropic 是唯一一家把这件事写进了公司符号系统的前沿 AI 公司，精神图腾也许作为一种滤波器在筛选着志同道合的人，想一下卡帕西居然也加入了 Anthropic。
结尾：值得读的两篇论文
如果你读到这里还有兴趣，可以拓展一下：
香农 1948 年的《通信的数学理论》，前 20 页就够，看完你对熵、信道、编码这些词的理解会换一层。
香农 1951 年的《打印英文的预测与熵》（Prediction and Entropy of Printed English），十几页，看完你会发现，你今天每天打交道的 AI，70 年前一个数学家已经在客厅里用他妻子玩出来过了。
我们这一代人很幸运，亲眼见证了一个 1948 年定下的方向，最终在 2020 年代从信息化走向智能化。
下次你打开 Claude Code、让它帮你改 bug、写新功能、跑测试的时候——想想这个名字背后那个 35 岁的男人，正坐在 1951 年新泽西的客厅里，让他妻子猜下一个字母是什么。
