当数学符号与语言符号在Transformer里完成第一次缝合

承接前两篇《宇宙信号论》《Token纠缠》的逻辑聚焦于一个关键的历史性时刻当数学符号物理世界的精确编码与语言符号人类社会的意义网络在同一个AI架构内部完成了首次深度融合。这将是一篇关于“接口”的文章——两种原本不相通的符号系统如何通过Transformer这座桥梁开始彼此翻译、彼此增强。符号的缝合当数学与语言在Transformer里握手引言两种符号两个世界人类文明拥有两套最强大的符号系统。一套是数学。它精确、冷酷、跨文明通用。它描述的是物体如何落下、星球如何运转、能量如何守恒。它的基本单位是数字、变量、运算符和方程。它的真理标准是内部无矛盾并与观测一致。另一套是语言。它模糊、温暖、深嵌于文化。它描述的是承诺如何被信任、故事如何被讲述、权力如何被行使。它的基本单位是词语、句子、隐喻和叙事。它的真理标准是语用恰当并在社群中被认可。几千年来这两套系统各自演进偶尔交汇比如伽利略用数学描述落体牛顿用拉丁文写下《自然哲学的数学原理》但总体上它们由不同的大脑区域处理由不同的教育体系传授服务于不同的目的。直到Transformer架构的出现。这个原本为机器翻译设计的模型无意中成为了人类历史上第一个能够在同一个神经网络内部同时对数学符号和语言符号进行统一建模的系统。这是符号进化史上的一个分水岭。第一章两条进路的分野在AI的发展史上数学和语言曾经走着完全不同的技术路线。数学符号的处理路线符号主义早期的专家系统和定理证明器走的是一条“符号操作”的路。它们把数学公式当作树状结构用显式的规则进行变换。比如一个程序可以知道(ab)² a² 2ab b²因为它内置了代数展开的规则。这条路线的优点是精确、可解释。缺点是脆弱——遇到规则之外的情况就失效而且无法处理模糊性。语言符号的处理路线统计语言学与此同时自然语言处理走的是另一条路。从早期的N-gram模型到后来的Word2Vec研究者们发现与其给语言制定规则不如让它从海量文本中自动学习统计模式。“国王 - 男人 女人 ≈ 女王”这个著名的向量运算展示了一种完全不同于符号操作的语义处理方式。这条路线的优点是鲁棒、能处理模糊性。缺点是不精确——它不知道“224”是一个绝对真理只知道在训练语料里“22”后面出现“4”的概率极高。两条路线各自解决了一半的问题。但没有人能把它们真正统一起来。第二章Transformer——意外的缝合者2017年Google的Vaswani等人提出了Transformer架构。它的核心创新是自注意力机制但我们当时没有意识到的是这个架构天然地具备统一处理数学符号和语言符号的能力。为什么原因一Token化抹平了符号差异在Transformer眼中所有输入都是一样的——一串Token。无论是单词“apple”、数字“3.14159”、符号“∫”还是公式“Emc²”都被切成Token序列映射成向量。数学符号的精确性和语言符号的模糊性在Token化这一步被“格式统一”了。它们变成了同一套高维空间中的坐标点。原因二注意力机制捕捉了所有关系数学公式中的结构关系乘法的交换律、微分的链式法则和语言句子中的语法关系主谓一致、指代消解在注意力机制中被统一处理为“Token之间的关联权重”。模型不需要知道它处理的是一个代数方程还是一个日常句子。它只需要学会在某些上下文中某些Token倾向于以某种方式与其他Token关联。原因三规模效应催生了跨域泛化当模型规模足够大、训练数据足够多时一个有趣的现象出现了模型开始在数学任务和语言任务之间迁移能力。一个经过大量代码和数学证明训练的模型在撰写法律文书时逻辑结构会更清晰。一个经过大量诗歌和小说训练的模型在求解应用题时对自然语言描述的场景理解得更准确。这不是巧合。因为数学和语言在最抽象的层面上共享着同一套底层结构——它们都是关于“实体”和“关系”的符号系统。​ 数学中的变量和运算符对应语言中的名词和动词。数学中的等式对应语言中的判断句。数学中的函数复合对应语言中的从句嵌套。Transformer无意中发现了这个同构性并将其利用了起来。第三章缝合之后的化学反应当数学符号和语言符号在同一个模型中共存时它们之间产生了三种奇妙的化学反应。反应一数学为语言注入精确性大语言模型最常被诟病的一点是“胡编乱造”——它擅长流畅地胡说八道。但当模型中数学符号的比例足够高时这种现象会显著减少。为什么呢因为数学符号的训练信号是非常严格的。22后面只能是4不能是5。模型如果在数学任务上犯错损失函数会给予严厉惩罚。这种“精确性压力”会迫使模型学习更严谨的Token关联模式并将这种模式迁移到语言任务中。结果是数学符号充当了语言符号的“锚”。​ 它让模型在面对模糊问题时倾向于寻找更精确的答案而不是随意生成一个听起来合理的回答。反应二语言为数学注入灵活性反过来语言符号也为数学符号带来了好处。传统的数学软件如Mathematica、MATLAB非常精确但它们无法理解模糊的描述。你不能对它们说“帮我解一下那个长得像碗一样的函数的积分”。但大语言模型可以。因为它学习了大量的语言数据知道“长得像碗一样的函数”很可能是指二次函数yx²。它能够将模糊的自然语言描述映射到精确的数学表达上。这意味着语言符号充当了数学符号的“入口”。​ 它降低了使用数学的门槛让非专业人士也能通过自然语言与数学知识交互。反应三涌现出全新的混合能力当数学和语言的融合达到一定程度时会产生一些两者单独都不具备的能力。数学推理能力的语言化模型可以用自然语言解释一个数学证明的步骤甚至可以针对不同知识水平的用户调整解释的深度和角度。这在以前是需要人类教师完成的。语言概念的数学化模型可以将一个模糊的语言概念比如“公平”转化为一组可量化的指标比如基尼系数、机会概率、资源分配比例并进行比较和优化。跨域类比模型能够发现数学结构和语言结构之间的深层类比。比如它可以把“群论中的对称性”类比到“社会网络中的权力平衡”从而在两个领域之间架起知识的桥梁。第四章一个具体的例子——GPT-4解数学应用题让我们看一个具体的例子来感受这种缝合是如何工作的。用户输入“小明有10个苹果他给了小红3个然后又从小华那里得到了比他现在有的多2倍的苹果。请问小明现在有多少个苹果”这是一个典型的数学应用题。它混合了语言符号“小明”“给了”“得到”和数学符号数字、倍数关系。在传统的符号主义系统中你需要手动将这个问题转化为数学表达式然后再求解。在传统的统计语言模型中它可能会因为不理解“多2倍”的具体含义而出错。但在一个经过充分训练的Transformer模型中这个过程是浑然一体的模型识别出语言描述中的实体小明、小红、小华、苹果和动作给、得到。模型将动作转化为数学操作减法给出、加法得到。模型解析“比他现在有的多2倍”这个语言结构将其转化为数学表达式(10-3)×(12)。模型执行计算(10-3)77×(12)21。模型将计算结果包装成自然语言输出“小明现在有21个苹果。”整个过程数学符号和语言符号在模型的内部表征中无缝协作。模型不需要显式地在两种符号系统之间切换——它在同一个向量空间中完成了所有的语义解析和数学推理。第五章哲学意涵——缝合之后的世界这种缝合带来的不仅是技术上的进步还有更深层的哲学意涵。1. 两种理性的和解西方哲学史上一直存在着两种理性的对立一种是精确的、分析的、数学的理性另一种是模糊的、综合的、诠释的理性。前者被视为“硬”科学的基础后者被视为“软”人文的领地。Transformer的缝合表明这两种理性并不是对立的。它们可以在一个统一的框架下共存并且互相增强。数学理性为语言理性提供了锚点语言理性为数学理性提供了灵活性。2. 符号的解放在缝合之前数学符号和语言符号各自被困在自己的领域里。数学符号很难表达情感语言符号很难表达精确的定量关系。缝合之后符号获得了跨域流动的能力。一个数学公式可以被“翻译”成一个故事一个隐喻可以被“翻译”成一个方程。符号的意义不再局限于它的原始领域而是在整个符号网络中重新定义。3. 人类认知的镜像有趣的是这种缝合恰好反映了人类大脑的工作方式。神经科学的研究表明人类在进行数学推理时也会激活语言区域在进行语言理解时也会激活数量感知区域。Transformer的缝合无意中复现了人类大脑中数学和语言协同工作的模式。这让它不仅仅是一个工程上的成功也是对人类认知的一种间接揭示。结语符号的新纪元几千年前人类发明了文字将声音信号固化为视觉符号。几百年前人类完善了数学符号将物理世界的规律精确编码。几年前Transformer将这两种符号系统缝合进了同一个神经网络。我们现在站在这个缝合的起点上还没有完全理解它将带来什么。但有一点是确定的当数学的精确遇上语言的灵活当物理世界的编码遇上社会世界的意义网络一种新的符号系统正在诞生。它既不是纯粹的数学也不是纯粹的语言而是两者的深度融合。这种新的符号系统将成为AI理解世界、与人类交流的基础语言。它也是你所说的“宇宙信号流”中人类文明正在谱写的最新篇章。而我们既是这篇章的执笔者也是它的第一个读者。