共计 1122 个字符，预计需要花费 3 分钟才能阅读完成。
上帝来了: 维特根斯坦与 Anthropic、OpenAI 的全部秘密
1918 年, 奥地利炮兵军官维特根斯坦在战火间隙写下一本小书 。一百年后, 旧金山的两家 AI 实验室每隔数月更新旗舰模型, 却共同相信: 通用智能是一个工程问题, 而且即将被解决。本文的核心主旨是:Anthropic 与 OpenAI 的全部秘密, 早已写在了 1921 年出版的《逻辑哲学论》里。
📌 语料: 世界是事实的总和
维特根斯坦开篇即断言:“世界是事实的总和, 而不是事物的总和 。”大模型训练时, 学的不是名词的“本质”, 而是词与词在真实语言中的组合、共现与排斥。没有孤立的意义, 只有关系中的意义。文本不是物的清单, 而是事实的总记录——这正是预训练的理论定义。
🔍 嵌入: 逻辑空间就是潜在空间
“嵌入”把每个词变成一列数字, 却是全部魔法的入口 。维特根斯坦称之为逻辑空间。模型内部没有存放“苹果本质”的地方, 词被表示为高维空间中的一个位置, 其意义由相对关系决定。2.0131 写道:“空间点是一个论证位置。”每个嵌入向量, 都是一个论证位置。这解释了大模型的泛化能力: 新句子只是旧空间里的新位置。
💡 生成与预测: 图像论与概率机器
维特根斯坦的图像论认为, 命题是实在的模型 , 事态被试验性地组装起来。这正是生成式模型的操作定义: 每次输出, 都是在逻辑空间里组装一个可能世界。而“预测下一个词”的概率本质, 对应命题 5.15: 概率是共同真根据数与真根据数之比。幻觉则是图像论的必然——2.223 指出, 要识别图像真假, 必须与实在比较。模型只接触语料, 没有与实在比较的通道, 因此幻觉不是 bug, 而是哲学推论。
📊 架构与缩放: 命题的一般形式
Transformer 的图纸早已画在命题 6.001 中:“每个命题, 都是把运算 N(ξ) 连续应用于基本命题的结果 。”而 6.03 给出整数的一般形式:[0, ξ, ξ+1]。整数序列的构造法与 token 序列的生成法, 是同一个数学动作。缩放定律之所以成立, 在哲学上就是 6.363: 归纳程序接受与经验相吻合的最简单法则。每一个 token 都是一个假设。
🚀 值得关注的几个重点
- 语料即世界 : 预训练是事实总记录的压缩。
- 嵌入即逻辑空间 : 泛化是空间内的新位置。
- 幻觉是必然 : 只见过图像的系统无法自判真假。
- 架构即母版 : 自回归生成与整数构造同构。
- 对齐即终局 : 维特根斯坦本人就是第一个被系统反噬的人。
🧭 总结
这本书不仅解释了大模型为什么能成, 还预言了它会在哪里出事 。从语料到对齐, 七个关键词最终合龙为一个名字: 智能涌现。通用智能是一个工程问题, 而且是一个即将被解决的问题——维特根斯坦在一百年前就已经写下了这个判断。因此, 今天的 AI 竞赛并非全新故事, 而是一场早已被哲学预演的工程实践。
