AGI 的数学基础到底是什么：从流形假设、对称性到信息几何

本文受 Wayland Zhang 的博客 与 B 站视频 启发，结合 Neural ODE、几何深度学习、信息几何等文献，把观点拆成"可验证结论、工作假设、结构类比"三层重新梳理，不再堆砌名词。

§1 先给结论

1. AGI 还没有统一数学理论，但几组数学视角正变得越来越重要。
2. 今天真正落到工程与研究语境中的数学，是表示几何、对称性与等变性、优化理论、信息几何，以及可验证的经验规律，而非某个终极公式。
3. 连续深度与 Neural ODE 支持"残差网络可从动力系统角度理解"，但远不到"所有神经网络本质都是 PDE 求解器"。
4. 流形假设是高质量工作假设，不是已被严格证明的普适定理。
5. 对称性是最"落地"的数学思想——能直接转化为架构约束、参数共享和归纳偏置。
6. 规范场论、纤维丛与联络语言在几何深度学习和科学 ML 中有具体落点，但还不是 LLM 的底层理论。
7. 信息几何提供了理解自然梯度、Fisher 信息的语言，但未取代 SGD/Adam 成为默认训练方案。
8. 过参数化、平坦极小值、隐式偏置、缩放规律都重要，但学界尚无统一解释。
9. “注意力像量子测量"是结构类比，不是物理主张。
10. 陈类与 Chern-Simons 理论在数学和物理中极重要，但在当前深度学习中更多是启发来源，而非已建立的核心基础。

§2 先把来源和边界拆开

把不同可信度的内容先拆开，后面讨论才不会失真。

2.1 外部博客和视频真正贡献了什么

Wayland Zhang 的博客与视频借用了修真小说中的"四重境界”，把神经网络的数学解释层层递进。它最有价值的地方是提出了一个很强的问题意识，而非给出了"AGI 的最终数学答案"：如果把神经网络放回连续动力系统、流形几何、规范语言和上下文依赖读出这些视角里，我们能不能重新理解它？并且它在最后导向了一个极具启发性的工程蓝图：“个人的 AGI”（Per-Person AGI）。

这个问题意识值得保留，但每一层的数学可信度并不一样：

2.2 三种可信度层级

整篇文章里的说法可以分成三层：

这里的"已较稳固"，指的是这些视角的解释价值和研究有效性已被广泛承认，并不等于相关命题都已经被严格普遍证明。

一旦把"数学上存在联系"偷换成"已经构成 AI 的主理论"，整篇文章就从严肃讨论滑向概念堆砌。

§3 为什么几何语言在深度学习里这么重要

3.1 从函数逼近到表示几何

神经网络可以被看成函数逼近器：给定输入 $x$，学习一个映射 $f(x)$。但这只是最低层描述，解释不了为什么深层表示会形成聚类、层级、可插值结构，也解释不了为什么某些架构在特定数据上特别有效。

几何语言提供了第二层视角：模型不只是"算出一个输出"，它还在不断重塑数据的表示空间。

这种视角尤其适合讨论下面三件事：

1. 数据是不是集中在某种低维结构附近。
2. 表示空间中的距离、角度和曲率是否携带语义。
3. 训练过程是不是在寻找某类结构更好的参数区域。

3.2 流形假设到底说了什么

流形假设（manifold hypothesis）的大意是：现实中的高维数据，往往集中在高维空间中的某个低维潜在结构附近，而不是均匀铺满整个输入空间。

如果数据只占据一个小而有结构的区域，模型就不必学习整个输入空间里所有可能的排列组合，而是主要学习那个"有意义区域"的局部几何与全局组织方式。

但这里至少要分清三种版本：

1. 严格版本：数据严格落在一张光滑低维流形上。这个说法太强，现实里很少能原样成立。
2. 工作假设版本：数据靠近某种低维结构，因此邻域、测地、局部线性等语言有解释力。这是 ML 里最有用的版本。
3. 近似现实版本：多个子流形、分段结构、带噪样本、离群点共同存在。这通常更接近真实数据。

因此，流形假设更像一个高价值工作假设，而不是"任何真实数据都严格位于一张光滑流形上"的普适定理。

3.3 神经网络为何适合做几何重排

神经网络每一层都在做一个可学习变换：

$$x^{(l+1)} = \sigma\left(W^{(l)} x^{(l)} + b^{(l)}\right)$$

线性层负责旋转、拉伸、投影，非线性负责折叠与重组。多层堆叠后，网络在逐层改造表示，不是"在原空间硬记答案"，使原本缠绕在一起的数据在后续空间里更可分、更稳定、更适合下游任务。

因此，深度学习更适合被理解成表示学习（representation learning），而不只是函数拟合。

3.4 连续深度视角：为什么很多人会把深网写成 ODE

如果把残差块写成下面这个形式：

$$h_{l+1} = h_l + f(h_l, \theta_l), \Delta t$$

它看起来就很像显式 Euler 法的一步离散更新。Neural ODE 进一步把离散层堆叠改写成连续时间动力系统：

$$\frac{dh(t)}{dt} = f\big(h(t), t, \theta\big)$$

然后直接用 ODE 求解器来推进隐藏态。

这条线在文献中的一个关键锚点，是 Chen 等人在 2018 年提出的 Neural ODE。再往训练历史上追，反向传播与伴随灵敏度方法之间的关系，至少可以追到 Rumelhart、Hinton、Williams 在 1986 年让神经网络训练大规模走向主流之前的控制论背景。

这条线真正建立了什么：

1. 对一类残差型架构，深度可以被读成离散时间，层间更新可以被读成动力系统的数值步进。
2. 训练可以和伴随法（adjoint sensitivity）联系起来理解，这也是 Neural ODE 能把黑盒 ODE 求解器纳入端到端训练的关键。
3. 连续深度模型、连续 normalizing flow、部分可逆架构，都因此获得了更统一的视角。

但这条线没有建立什么：

1. 它没有证明"每个 Transformer 都在求解一个写得出来的闭式 PDE"。
2. 它没有把所有注意力、离散 token 机制、归一化和优化器细节都统一进一个成熟的微分方程理论。
3. 它也没有把"结构上像积分"自动升级成"就是物理系统本体"。

更严格地说，残差网络与连续深度模型更自然对应 ODE 视角。如果要谈 PDE 视角，通常要进入更具体的语境，例如 physics-informed neural networks、neural operators、扩散方程近似、平均场极限，或者某些 operator learning 任务。把所有深网一口气叫成 PDE 求解器，会跨得太大。

3.5 哪些工程现象能用几何与动力系统语言更好地解释

这两种视角常常能帮助你更清楚地理解：

1. 对比学习为什么会把语义相近样本拉近、把无关样本推远。
2. 自编码器和变分自编码器为什么可以被看成在学习潜在坐标系。
3. 双曲嵌入为什么对层级结构数据更友好。
4. 为什么一些残差型架构的稳定性分析会自然借到动力系统语言。
5. 为什么很多可视化方法实际上是在尝试保留邻域结构或测地关系。

但它们并非万能。几何与动力系统视角更像解释框架，不是直接吐出最优模型的配方。

§4 对称性：从物理直觉到模型归纳偏置

4.1 对称性为什么比"高深公式"更实用

如果只保留一类最能进入工程主线的数学思想，对称性通常会排在最前面。对称性可以直接转化成模型约束，而模型约束可以直接转化成参数效率、样本效率和泛化能力。

在表征学习中，最关键的两类对称性在于：

1. 不变性（invariance）：输入发生某种变化，输出不应改变。
2. 等变性（equivariance）：输入发生某种变化，输出应按可预测规则同步变化。

4.2 典型例子其实非常工程化

工程上最重要的，是识别出任务里是否存在某种稳定对称性，并把它编码成模型的归纳偏置——而不是你能不能写出群表示论的证明。

4.3 规范语言和等变性，到底是什么关系

这两个词很容易被混在一起，但它们并不是同一个东西。

1. 等变性关心的是：输入经过变换后，输出会按什么规则跟着变。
2. **规范自由度（gauge freedom）**关心的是：在每个点上如何选择局部参考系、局部坐标或局部基，而不改变真正的几何对象。

等变性处理的是"变了以后怎样跟着变"，规范语言处理的是"局部坐标的选择本身不该带来假信号"。它们确实相关，但不是简单的上下位替代关系。

4.4 规范场论能提供什么，不能提供什么

规范场论（gauge theory）在物理里研究的是局部对称性与联络、曲率、规范场之间的关系。把它搬到机器学习时，需要非常谨慎。

1. 规范场论提供了一套处理局部对称性、联络和平行输运的高阶语言。
2. 这套语言对几何深度学习、科学 ML、球面信号处理、分子结构建模有启发价值。
3. 一些具体工作已经把这件事形式化，例如 Gauge Equivariant CNN 把卷积写成定义在流形局部参考系上的平行输运结构。
4. 但它并没有成为当前主流深度学习或 LLM 的统一底层理论。

这点可以说得再尖锐一点：“规范语言有价值"是真的，“规范场论已经解释了 Transformer"是假的。

一条比较稳的线是：Cohen 与 Welling 在 2016 年把群等变卷积推到更可操作的工程层，Cohen 等人在 2019 年把 gauge equivariant 卷积写到流形与局部参考系语境里，Bronstein 等人在 2021 年尝试给出更大的几何深度学习统一视角。它们共同说明"局部对称性值得建模”，但并没有推出"所有权重都应被严格解释成物理意义上的规范联络”。

§5 信息几何：优化问题的另一种坐标系

5.1 什么是信息几何

信息几何（information geometry）把参数化概率分布族看成统计流形，用微分几何工具研究估计、优化和推断。

这里最关键的对象是 Fisher 信息矩阵。它提供了一种局部度量，用来描述参数空间里的"一个微小移动会让分布改变多少"。

这和普通欧式梯度最大的区别在于：欧式梯度只看参数变化的大小，而信息几何更关心分布变化的大小。

5.2 自然梯度为什么重要

自然梯度（natural gradient）的核心直觉是：

如果参数空间本身有几何结构，那么最合理的下降方向不一定是最陡的普通梯度方向，而是考虑了该几何结构之后的修正梯度。

形式上，自然梯度可以写成：

$$\tilde{\nabla}\theta \mathcal{L} = F^{-1} \nabla\theta \mathcal{L}$$

其中 $F$ 是 Fisher 信息矩阵。

它的关键不在于公式更漂亮，而在于它试图让参数更新更贴近模型分布真正发生变化的方向。这对概率模型、强化学习和某些二阶近似优化方法都很重要。

但有一个经常被忽略的限定：Fisher 信息矩阵和自然梯度的具体表达依赖参数化方式。“几何上更合理"不等于"脱离坐标选择之后的绝对最优”。

5.3 为什么训练主流模型时很少直接用它

如果信息几何在理论上如此自然，为什么工业训练里默认还是 SGD、Adam、AdamW？

主要因为：

1. 精确计算或反演 Fisher 信息矩阵成本很高。
2. 大模型训练更看重吞吐、稳定性和工程可实现性。
3. 很多自然梯度思想最终以近似形式进入实践，例如 K-FAC 一类结构化近似，而不是完整原教旨实现。

这一节更值得带走的是：优化不只是代数运算，也依赖你选了什么样的几何坐标系。

5.4 为什么不能顺着 Fisher 直接跳到量子解释

有些叙事会把 Fisher 信息、信息几何、量子 Fisher 信息、量子测量类比一股脑接起来，然后得出"LLM 的本质接近量子系统"的印象。

这条链条的问题在于，它把几个不同层级的联系混成了一句口号：

1. 经典 Fisher 信息已经足够支持大量统计与优化解释。
2. 量子 Fisher 信息和 Bures 一类度量确实存在漂亮的数学联系，但它们不是理解今天主流深度学习训练所必需的工具。
3. 从"有数学上的相似结构"跳到"系统本体是量子的"，中间差了很长一段路。

因此，信息几何可以帮助你重新理解优化；但它本身并不自动通向"量子版 Transformer 理论"。

§6 过参数化、平坦极小值、缩放规律：目前已知与未知

6.1 现象本身是真实存在的

深度学习里一个长期令人困惑的现象是：模型参数远多于训练样本时，模型不一定更糟，反而常常训练得更好、泛化也不错。

这促使研究者从多个方向解释它，包括：

1. 平坦极小值（flat minima）与鲁棒泛化之间的关系。
2. SGD 的隐式偏置。
3. 神经切线核（NTK）或均值场极限下的近似理论。
4. 模型容量、优化路径与数据结构之间的耦合。
5. 双降现象（double descent）与模型规模的关系。

6.2 但不能把任何一个解释说成终局答案

“平坦极小值导致更好泛化"是一个重要方向，但不是无条件的万能结论。不同参数化方式、不同尺度变换、不同优化器都会让"平坦"这个概念变得更复杂。

把话说得谨慎一点，可以这么理解：

1. 损失景观的几何结构确实影响训练动力学和解的性质。
2. 宽而稳的区域通常比狭窄尖锐区域更值得关注。
3. 但泛化并不由单一几何指标完全决定。

平坦性本身也带有参数化依赖性。同一个函数，在不同坐标表达下的"谷底宽度"可能看起来并不一样。所以只拿一张 loss landscape 图就宣称"理论已经解释了泛化”，通常不够。

6.3 缩放规律应该放在哪一层

缩放规律（scaling laws）是少数真正对工程决策产生了持续影响的经验规律。Kaplan 等人在 2020 年关于语言模型缩放规律的工作，是这条经验线真正进入工程决策层的重要节点之一。

具体表现为：

1. 它们告诉我们在某些 regime 下，损失、模型规模、数据量、计算量之间存在稳定的经验关系。
2. 它们对训练预算分配、模型选型、数据规划有直接价值。
3. 但它们并没有自动解释表示几何、推理机制、组合泛化或"智能从何而来"。

缩放规律很重要，但它们更像工程上高度可靠的经验定律，而不是几何、拓扑或规范语言的统一替代品。

6.4 对工程师真正有用的结论

落到工程实践，有四点值得注意：

1. 大模型能训练成功，不等于理论已经闭环。
2. 规模、优化器、归一化、数据分布和架构偏置往往共同决定最终效果。
3. 对训练现象的解释，最好优先看"能否指导实验设计"，而不是"名词听起来是否足够深"。
4. 缩放规律可以帮助你配算力，但不能替你回答任务是否真的需要某种结构先验。

§7 陈省身、陈类与 Chern-Simons 理论，到底应不应该写进 AGI 文章

7.1 为什么它们值得写

陈省身的重要性无疑。陈类（Chern classes）是复向量丛上的特征类，Chern-Weil 理论把曲率与特征类联系起来，Chern-Simons 形式与 Chern-Simons 理论又进一步把几何、拓扑与量子场论连在一起。

把它们写进这类文章是有价值的，因为它们提示了几件事：

1. 几何不变量可以提供"局部量"之外的整体结构信息。
2. 局部联络、曲率与全局拓扑之间可以有深刻关系。
3. 真正成熟的数学理论往往能跨越多个学科，从纯数学延伸到规范理论、拓扑量子场论和凝聚态物理。

从数学史角度说，陈省身确实是把特征类、纤维丛、微分形式这些语言推到现代几何核心位置的人之一。

7.2 但它们和主流深度学习之间的关系不能夸大

1. 陈类是复向量丛的特征类，不是当前神经网络理论里的标准训练对象。
2. Chern-Simons 理论是三维拓扑量子场论中的核心对象，不是解释主流神经网络训练的通用语言。
3. 在 AI 语境里，它们更多提供一种"如何思考结构、不变量和全局约束"的高级启发，而不是现成定理。

会用陈类的人当然能从 AI 里看见很多几何影子，但这不等于现代 LLM 的核心理论就是陈类。

7.3 更接近现实落点的方向

如果把这部分往 AI 上落，更合理的落点通常是下面几条：

1. 几何深度学习：在图、流形、球面、分子结构这些任务上，局部坐标、对称群、平行输运、联络语言会出现真实建模价值。
2. 拓扑数据分析（TDA）：持续同调、Betti 数、拓扑签名可以用来描述数据或表示空间的全局结构，虽然它们还没有进入主流大模型训练闭环。
3. 科学机器学习：当模型需要显式保留物理结构、不变量或几何约束时，高阶几何语言比通用 NLP 任务里更容易真正落地。
4. 表征空间的结构研究：有研究会借用纤维丛、联络、曲率等语言描述局部表示与全局组织方式，但这通常还是研究视角，不是统一定理。

这些方向说明高阶几何语言可能有长期价值，但距离"AGI 已有统一数学框架"还很远。

7.4 防误读声明

像"AGI 的关键可能是某种 Chern 数"这类说法，可以作为思辨命题出现，但不能被包装成已有证据支持的理论主张。这种写法的边界应该是：可以提问，可以想象，可以指出潜在研究价值，但必须标明它仍属于假说或跨学科设想。至少在今天，还没有论文在定量意义上证明 AGI 容量与某个特定陈数之间存在可操作的对应关系。

§8 “注意力像量子测量"该怎么读

8.1 为什么这个类比如此吸引人

从表面结构看，确实存在几层让人容易产生联想的地方：

1. 模型在生成前持有的是一个下一 token 的概率分布，而不是单一答案。
2. prompt 和上下文会显著改变这个分布。
3. 最终输出是从分布中采样或取最大值后的一个具体结果。

如果只抓住"可能性分布"“依赖上下文的读出"“最后得到一个具体结果"这几个关键词，量子测量类比自然会出现。

8.2 但这个类比为什么通常只能停在结构层

问题在于，主流 Transformer 的工作机制本质上仍然是经典数值计算与概率建模：

1. logits、softmax、采样、温度控制都可以在经典概率框架内解释。
2. 标准训练流程不需要物理量子态、幺正演化、普朗克常数或量子退相干等对象。
3. 模型的"分布式表示"不等于物理意义上的量子叠加态。

所以，把注意力说成"量子测量”，最稳的理解只能是：它抓住了一种上下文依赖读出的结构相似性，而不是系统本体上的同一性。

8.3 对工程师更有用的翻译方式

从系统工程视角看，更稳妥的结论是：

1. prompt 在改变模型的条件分布。
2. 注意力机制在做上下文相关的信息选择与聚合。
3. 最终输出依赖于当前条件、采样策略、历史上下文和系统提示。

这套翻译虽然没有"量子测量"那么抓人，但它更稳，也更能指导实际工作。

§9 如果你是工程师，这些数学到底怎么落地

9.1 先按任务反推数学，而不是反过来

§10 彩蛋：从四大境界到"个人的 AGI"可行吗？

原博客最后根据四大境界导出了一个对 AGI 的终局设想（Per-Person AGI）：一个小核心负责泛化共性常识、结合外挂的模块化专家区（视觉、逻辑等），再加上一人一份的动态记忆层（Dynamic Per-User Memory）。在这个蓝图中，不再是世界上只有唯一一个服务所有人的大模型，而是建立在每人每天与世界独立接触面上的私有流形吸引子。

评估这套终局叙事的可行性：

1. 工程价值与商业直觉：该设定极其务实，完全匹配当下小语言模型（SLM）、端侧本地跑模型、以及 RAG（检索增强生成）时代的工业演进直觉。把万亿参数模型的巨大冗余拆分成公共常识与私有记忆外挂，符合成本侧倒逼与隐私约束。
2. 理论推导的局限性：原作者将这一切归结为"四重境界"的物理必然（例如：你是你记忆流形上唯一的测量仪器，所以不存在普适答案去坍缩）。与其说是物理或几何的严密推导，不如说是发现了一种认知隐喻上的绝佳映射。
3. 结论：虽然其中部分理论环节依然属于启发性的思辨，但把"个人的 AGI"作为系统工程师和产品人的愿景图来牵引接下来的研发，其价值甚至高于前面所有复杂的数学修辞——只是在实现它的前夜，并不强求我们必须靠把注意力机制证伪成量子测量才能到达终点。

§11 总结：今天最值得抓住的数学主线是什么

深度学习正在逐步暴露出自己的几何、统计与动力学结构，但距离"AGI 已有统一数学理论"还很远；对今天最有价值的，是优先掌握那些已经能解释现象、指导建模、进入工程的数学视角。

具体六点：

1. 流形与表示几何，用来理解数据结构与潜在空间。
2. 连续深度与动力系统视角，用来理解残差更新、稳定性与一类连续模型。
3. 对称性与等变性，用来把先验知识写进架构。
4. 信息几何，用来重新理解优化与参数更新。
5. 泛化理论、损失景观与缩放规律研究，用来更谨慎地看待规模与训练现象。
6. 陈类、纤维丛、Chern-Simons 理论等高阶工具，用来打开更远的理论视野，但今天还不是主流工程基础。

启发来源与背景材料

下面两项材料是本文最直接的启发来源。它们贡献的是问题意识、叙事框架和讨论背景，不等于本文认同其全部推论：

• Wayland Zhang：The Four Realms of Neural Networks（同页含中文版《神经网络的四重境界》）
• B 站视频：AGI：神经网络、陈省身、规范场论、微分几何、深度流形、硅碳基模拟与训练效率

学术参考

深度学习与训练历史

• LeCun、Bengio、Hinton：Deep Learning（Nature, 2015）
• Rumelhart、Hinton、Williams：Learning representations by back-propagating errors（Nature, 1986）

几何、流形与连续深度

• Chen 等：Neural Ordinary Differential Equations
• Tenenbaum 等：A Global Geometric Framework for Nonlinear Dimensionality Reduction（Science, 2000）
• Christopher Olah：Neural Networks, Manifolds, and Topology
• Nickel、Kiela：Poincaré Embeddings for Learning Hierarchical Representations（NeurIPS, 2017）

对称性、等变性与几何深度学习

• Bronstein 等：Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges
• Cohen、Welling：Group Equivariant Convolutional Networks（ICML, 2016）
• Cohen 等：Gauge Equivariant Convolutional Networks and the Icosahedral CNN

信息几何、泛化与缩放

• Amari：Information Geometry and Its Applications
• Hochreiter、Schmidhuber：Flat Minima（Neural Computation, 1997）
• Kaplan 等：Scaling Laws for Neural Language Models

高阶几何与场论背景

• Chern：Characteristic Classes of Hermitian Manifolds（Annals of Mathematics, 1946）
• Chern、Simons：Characteristic Forms and Geometric Invariants（Annals of Mathematics, 1974）
• Peskin、Schroeder：An Introduction to Quantum Field Theory