2.1 科学问题的计算本质#

氨基酸是蛋白质的”字母”，一条蛋白质链由几十到几千个氨基酸串联而成。蛋白质的功能由其三维结构决定——链如何折叠成一团精确的形状。那么问题来了：每个氨基酸的位置会影响其他所有氨基酸，因为链上的两个点可能在三度空间里紧紧挨在一起。

这不是一个”多体问题”吗？20 种氨基酸可以组合出天文数字的可能构象，穷举是不可能的。但更关键的是计算层面的含义：你必须在氨基酸之间建立 pair-wise 交互。一条 N 个氨基酸的蛋白质链，两两交互产生 $\frac{N(N-1)}{2}$ 对关系——O(N²) 规模。这就是第一性原理告诉我们的：这个问题不管用什么方法解，pair-wise representation 的显存需求都是平方增长的。

2.2 AI 方法的系统代价#

AlphaFold 3 [2] 是 DeepMind 2024 年发布的最新版本，引入了扩散模型（Diffusion Module）来生成原子坐标，取代了 AlphaFold 2 的结构模块。它的架构可以用简单的信息流来理解：

1
氨基酸序列 → Pairformer（处理 O(N²) pair representation）→ Diffusion Module（48 个噪声副本同时去噪）→ 原子坐标

系统层面，几个数字直接说明了问题：

• Activation memory 占 97% 显存：模型是典型的 memory-bound。A100 40GB 上做推理，最大只能处理 4,352 个 token（对应约 4,000 个氨基酸）[3]
• Diffusion Module 复制 48 次：扩散过程需要对 48 个噪声水平同时去噪，这意味着该模块的 activation 被复制了 48 份，经常直接触发 OOM
• EvoAttention 产生 O(N³) logits：AA 数量从 96 增加到 192 时，activation 从 3.75 GB 暴涨到 24.61 GB——6.56 倍增长，而序列长度只增加了 2 倍

有趣的是，MegaFold [3] 这个开源训练系统对此的解决方法相当工程化：用 custom Triton kernel 实现 online softmax 避免物化 O(N³) 中间张量，把 LayerNorm + SwiGLU MLP 融合成单个 kernel 减少显存。这些优化让可训练的序列长度从约 500 个氨基酸提升到约 768 个氨基酸，吞吐提升 1.69 倍（H200）。

2.3 Gordon Bell 入围项目：MProt-DPO#

Argonne 国家实验室的 MProt-DPO [4] 用 3.5B-7B 参数的 LLM 做蛋白质多模态设计——不仅是序列，还包括实验数据、模拟结果、文本描述。在 Aurora 超算上跑到 5.57 exaflops（mixed precision），这是目前蛋白质设计跑过的最大规模。

关键的系统设计选择是：不做单蛋白，而是把蛋白质设计看作一个偏好优化问题（Direct Preference Optimization），训练模型在多个维度上同时优化。这意味训练的 batch 需要包含多种条件（功能、稳定性、可溶性），每个条件独立产出 gradient，所以 batch size 天然偏大，对显存和通信的要求都更高。

2.4 系统启示#

蛋白质 AI 的系统行为可以概括为一句话：大的不是模型，是中间状态。 模型本身只有几亿参数，但 inference 时产生的 pair representation 和 diffusion sample copies 迅速吃满显存。对系统设计的含义：

• 内存带宽 >> 计算能力：算力再强也没用，数据在 HBM 和 SM 之间搬不过来
• Custom kernel 在这里 ROI 极高：一个 Fused EvoAttention kernel 可能比通用优化（FlashAttention）带来 10 倍的显存节省
• FlashAttention 帮不了你：pair bias 的梯度传播需要修改 QK^T 后的加法操作，FlashAttention 2 和 FlexAttention 都不原生支持这一点 [3]

3.1 第一性原理：为什么材料发现天然是搜索问题#

材料的性质由其晶体结构决定——什么样的原子在什么样的空间位置排列。理论上你可以用量子力学计算（DFT，密度泛函理论）精确计算任何结构的能量和稳定性，但一次 DFT 计算需要几分钟到几小时，而可能的晶体结构数量是十亿量级。

这就是材料科学的计算悖论：计算是精确的，但候选空间大到穷举不可能。 AI 来干什么？不是替代 DFT（那还不够精确），而是做粗筛——用廉价的神经网络把十亿候选结构筛到几百个，再送 DFT 验证。这本质上是一个搜索问题：inference throughput 直接决定你一天能探索多少个候选材料。

3.2 GNoME：搜索效率的极限#

DeepMind 的 GNoME（Graph Networks for Materials Exploration）在 Nature 2023 发表，发现了超过 38 万种新的稳定无机晶体 [5]。它的核心流水线：

1
十亿候选结构 → GNN 粗筛（推断得分） → DFT 精算验证 → 将新结果反馈回训练集 → 重新训练 GNN → 下一轮

经过 6 轮 active learning 迭代，GNN 的 hit rate 从 <6% 提升到 >80%。“hit rate”是指 GNN 认为稳定的材料经 DFT 验证确实稳定的比例。从系统角度看，这 6 轮迭代每一轮的瓶颈都是 GNN 的 inference 吞吐：你需要在可接受的时间内对十亿级候选结构完成前向传播。

注意这里的系统特征完全不同于训练场景：不需要梯度、不需要优化器状态、没有通信、纯前向推理。 这个工作模式在传统的 AI 系统中很少见（通常推理是服务型负载，讲究延迟而非吞吐），但在 AI for Science 中极其普遍。

3.3 分子动力学基础模型：Allegro-FM#

如果说 GNoME 解决的是”找到它”，分子动力学（MD）解决的是”看看它在时间中如何演化”。经典 MD 的底层是一遍又一遍地计算原子间力，每次需要几飞秒——要看到微秒级的现象需要 10^9 步计算。

Allegro-FM [6] 是 2025 年出现的分子动力学基础模型，设计为 E(3) 等变网络（这意味着旋转或平移整个分子不会改变预测的力——这是物理铁律）。它覆盖了 89 种元素，在 Aurora 超算上达到 0.975 的并行效率，可以模拟数十亿原子的系统。

系统的关键创新不是模型本身，而是训练数据：用 Total Energy Alignment (TEA) 框架将不同来源（MPtri 和 OFF23）的训练数据对齐到一致的能量参考系。数据工程在这里比模型工程更关键——数据源不统一意味着训练出的力场预测不准，而废掉整个训练。

3.4 裸写框架的必要性：TensorMD#

一个值得系统研究者注意的现象：TensorMD [7] 这个 2025 年的新分子动力学框架直接抛弃了 PyTorch 和 TensorFlow，而是从零实现 ML interatomic potential。结果是比基于 PyTorch 的 DeePMD-kit 快 1.88 倍（A100 上）。

为什么通用框架成为瓶颈？分子动力学的神经网络部分通常只有几层、参数量极小，但调用频率极高（每一步 MD 都要算一次力）。PyTorch 的 kernel launch overhead、Python dispatcher 的开销在这场景下不再是 background noise，而是成了主要瓶颈。这验证了一个系统层面的直觉：当模型小到一定程度、调用频繁到一定程度时，框架开销主导了性能。 这个场景在 AI for Science 中比 AI 训练中常见得多。

3.5 系统启示#

• Inference throughput 就是科学搜索速度：在 GNoME 类应用中，每秒能推理多少候选结构直接决定发现新材料的速度
• 数据工程和模型工程同等重要：不同来源的训练数据能量参考不一致，对齐框架（TEA）本身就是一个系统问题
• 通用 ML 框架在小模型高频调用的场景中成为瓶颈：考虑 bare-metal 实现或至少 JIT 编译路径
• Active learning 的反馈循环引入了特有的 I/O 模式：训练→推理→外部分析（DFT）→数据回流→再训练，这是一个”人在环上”的 pipeline，调度系统必须支持异构任务编排

4.1 基础：数值天气预报 vs AI 方法#

传统数值天气预报（NWP）的基本操作是：把大气切成三维网格，在每个格点上求解描述流体运动、热力学、辐射传输的偏微分方程。ECMWF 的 IFS 系统使用 0.1° 分辨率（赤道约 11 km），按时间步长积分——一个 10 天预报需要超算跑几个小时。

这个计算特征的根源是物理原理：大气是一个混沌系统——初始条件的微小误差在时间积分中指数放大，这意味着空间分辨率必须高、时间步长必须短，否则误差累积到预报失去意义。

AI 方法换了一个范式：不是求解 PDE，而是从历史数据中学习”给定昨天的大气状态，明天会是什么样”。这本质上是一个自回归生成问题，但它提取了所有大气模式之间的相关性——对流、季风、洋流、辐射，全部隐含在模型权重里。

4.2 Aurora：一亿小时的浓缩#

Microsoft Aurora [8] 是 2025 年发表在 Nature 上的天气基础模型。1.3B 参数，在超过 100 万小时的气候模拟数据上预训练（32 × A100，2.5 周），然后在具体任务上微调——中期天气预报、高分辨率预报、空气污染预报、海浪预报，全是一个模型。

训练的系统创新集中在微调阶段，而非预训练。特别是 rollout fine-tuning 中采用了 LoRA + replay buffer + pushforward trick 的组合：

• LoRA（低秩适配）：冻结 base model 权重，只训练低秩矩阵 A、B，大幅减少微调显存
• Replay buffer：受 deep RL 启发，缓存模型在之前 rollout 步骤中的预测，避免重复昂贵的自回归生成。0.1° 高分辨率下，每个 GPU 的 buffer 只存 20 个样本，32 个 GPU 总共缓存 640 个
• Pushforward trick：梯度只通过最后一个 rollout step 传播，而不是反向传播整个自回归链——否则显存会爆炸

4.3 ORBIT：113B 参数做地球系统#

Gordon Bell 2024 入围的 ORBIT [1] 是一个 113B 参数 Vision Transformer，在 49,152 块 Frontier GPU 上训练。它把地球状态编码为球形图像，用 ViT 自回归预测——这个参数规模的处理需要完全不同的并行策略。

为什么需要 113B？因为大气系统有多个耦合的物理过程（辐射、对流、云微物理、海洋、陆地），每个的时空尺度不同。更大的模型才能建模这些耦合的非线性关系。但 113B ViT 的 activation 和通信模式与同规模的 LLM 截然不同：图像分块的自注意力在浅层是局部的（Swin Transformer 窗口），在深层是全局的——这导致通信量随层深不规则变化。

4.4 系统启示#

• 架构选择直接决定 I/O 和通信模式：Swin Transformer 的窗口注意力 vs ViT 的全局注意力，在 0.1° 分辨率下产生的激活张量形状完全不同
• Rollout fine-tuning 的系统创新（LoRA + replay buffer + pushforward） 为自回归模型的微调提供了可复用的工程模式
• 训练和推理的成本比例在天文学里是倒挂的：Aurora 训练只用 2.5 周（32 GPU），但推理要在 0.5 秒内完成全球 10 天预报——这里 latency 是硬约束

5.1 为什么精度降不下来#

前面的场景中，BF16 / FP16 / FP8 甚至是 FP4 都能接受——蛋白质结构的物理规律在各个尺度上都是平滑的，几% 的数值误差最多影响结构精度。但量子化学完全不同。

量子化学的核心是求解薛定谔方程，描述电子如何在分子中分布。电子的行为在原子核附近有 奇点（电子-核势能趋向无穷），在化学键区域有指数级的电子密度衰减。这意味着数值计算中同时存在 10^6 量级的值（核附近）和 10^{-6} 量级（键的远端）。需要用 FP64 跨越的精度范围是 12 个数量级，而 BF16 只有约 3 个数量级的精度。

这就是 MP2（二阶 Møller-Plesset 微扰理论）被认为是最低可接受的量子化学方法的原因：它已经包含了电子相关能的主要贡献。但也因为 MP2 是微扰理论，它对数值误差极其敏感，只能在 FP64 下运行。

5.2 Gordon Bell：200 万电子的全量子力学模拟#

2024 年 Gordon Bell 入围项目 [9] 在 Frontier 上对 200 万电子 系统进行了 MP2 级分子动力学模拟，达到 Frontier 的 59% FP64 峰值。这是生物分子尺度上第一次不需要经验近似就达到量子力学精度的 MD。

系统层面的核心挑战是：MP2 的计算复杂度是 O(N^5)（N 为电子数）。200 万电子意味着一系列大矩阵的张量收缩（tensor contraction）操作，每次收缩产生中间张量。整个算法的计算模式是：

1
大矩阵 → 张量收缩 → 更大的中间张量 → 写入内存 → 下一步需要的输入远小于中间张量

这让 GPU 的 HBM 带宽成为关键路径，而计算密度反而不高——因为大量数据只需要读写一次。

5.3 QMC + ML：用最高精度数据训练模型#

2025 年出现的 pipeline [10] 采用了不同的策略：用量子蒙特卡洛（QMC）在 exascale 资源上产生最高质量的训练数据，然后训练机器学习潜力模型（FeNNix-Bio1），加上 path integral adaptive sampling 做纳米秒级反应模拟。

这个范式中，所有复杂度都被前置到数据生成阶段。QMC 可以跑几天几个月、需要 FP64、在超大系统上并行——但只需要跑一次。然后 ML 潜力模型继承了这些高精度数据，可以用 BF16/FP16 高效推理。这是一个聪明的分层设计：用 brute force 解决精度问题，用 ML 解决速度问题。

5.4 系统启示#

• AI 和 HPC 在精度需求上是方向相反的：AI 追逐更低精度更高吞吐（FP8/FP4），部分科学计算对 FP64 的需求是不可协商的
• Mixed precision 在科学计算中需要领域知识来设计：不是逐层的精度选择（像训练 LLM 那样），而是算法 step 级别的判断——量子力学计算 FP64，力场部分可能 FP32 就够
• 张量收缩是 HPC + AI 的交叉地带：操作类型像线性代数、规模像大数据、内存访存模式像稀疏计算——标准的 AI kernel 和 HPC kernel 都不最优

6.1 为什么是硬实时#

托卡马克（Tokamak）是用磁场约束一亿度等离子体的装置。等离子体天生不稳定——它随时可能撕裂（tearing instability），一旦撕裂，等离子体撞上壁面，装置瞬间熄火。

传统的控制方法是预编程的反馈回路：测量等离子体状态 → 计算磁场调整 → 执行。但这个过程必须在 1 ms 内完成，因为等离子体的不稳定性发展比这更快。1 ms = 1 kHz 控制周期，意味着从传感器读数到磁场线圈驱动必须在 1 毫秒内完成。

这就是为什么普通的 AI 推理（几十毫秒的延迟可以接受）在这里完全行不通。延迟是硬实时约束。

6.2 Deep RL 控制等离子体#

Nature 2024 年发表了 DIII-D 国家聚变设施的实验结果 [11]：一个深度强化学习控制器在真实托卡马克上成功抑制了撕裂不稳定性，在低安全因子、低扭矩等不利条件下保持了 H-mode 高性能运行。

训练和部署是解耦的：

• 训练：在模拟器中运行，使用多模态动态模型预测撕裂可能性，DRL 策略学习如何避开高风险参数区。训练时间不受 1 ms 约束
• 部署：训练好的策略网络很小（推理只需微秒级），推理一次只需要几百个浮点运算，完全满足 1 ms 约束

这个”训练重-推理轻”的非对称性在 RL for Science 中是普遍模式。HL-3 和 EAST 托卡马克（中国）、WEST 托卡马克（法国）都报告了类似方案 [12][13]。

6.3 Sim-to-Real 是最难的问题#

模拟器和真实装置之间的差距（sim-to-real gap）是核心挑战。等离子体模拟器只能近似真实物理——如果 DRL 策略利用了模拟器的”作弊”（比如某个不真实的传感器噪声模式），部署到真实装置上就会失控。

解决方案不是让模拟器更精确（那会让它慢到无法训练 RL），而是数据驱动的环境建模：用真实放电数据来训练模拟器的“数字孪生”，使其在统计上匹配真实装置的行为。HL-3 验证了这种方法的 zero-shot 迁移能力——用纯数据驱动的模拟器训练的 RL 策略，在真实装置上一次成功 [12]。

6.4 系统启示#

• 硬实时推理在 AI 系统中极其罕见：1 kHz 控制周期意味着整个 inference pipeline 必须在 1 ms 内完成，包括传感器数据预处理
• 训练和推理的硬件需求完全不同：训练需要大量 GPU 长时间运行（可以在超算上做）、推理需要低功耗嵌入式设备直接装在托卡马克旁边
• Sim-to-real 的数据工程同样关键：这不是普通的训练-验证 split，而是完全不同物理设备之间的迁移——需要专门的 domain adaptation 策略

7.1 基因组 GWAS：36,100 GPU 求解回归#

GWAS（全基因组关联研究）的思路是：测序大量人群的基因组 → 寻找特定基因变异与疾病的统计关联。数学上这归结为一个巨大的回归问题：样本数 N（30 万患者）× 变异性 M（数百万个 SNP 位点）× 两两交互（epistasis）。要捕捉基因-基因交互，矩阵变成 N × M²，kernel ridge regression 的 Gram 矩阵是 N × N。

2024 年 Gordon Bell 入围项目 [14] 在 Frontier 上用了 36,100 GPU 来做这个计算。关键的系统创新是 adaptive mixed-precision Cholesky 分解——一个经典的高性能计算算法，但需要根据矩阵条件数动态切换精度。矩阵的不同区域条件数差异巨大（某些基因组区域高度相关，某些独立），全局用同一种精度会浪费大量算力。

系统层面的真正难点其实是数据分布：30 万人的基因数据无法直接装入内存，必须分片存储在分布式中。但从 HPC 文件系统（Lustre / GPFS）中读取这些分片数据，在 36,100 个 GPU 上同时做 I/O，对并行文件系统的 metadata 操作压力是巨大的。

7.2 宇宙学：用 GAN 替代 N 体模拟#

宇宙的大尺度结构形成由暗物质引力主导。经典的方法是 N 体模拟：置入 N 个暗物质粒子，在周期性边界条件下用引力交互演化它们。一次全尺度 N 体模拟的典型计算需求是数百万 GPU 小时。

AI 方案是训练神经仿真器，直接学习”给定宇宙学参数，输出暗物质密度场”的映射。Psi-GAN [15] 是一个基于 GAN 的仿真器，可以从廉价的 2D 对数正态场生成逼真的 N 体级暗物质密度场，在功率谱和双谱统计量上达到 5% 精度。它能泛化到不同的宇宙学参数（Ω_m, σ_8）和红移 z ∈ [0, 3]，加速约 10^3 倍。

场级仿真器 [16] 更进一步：学习线性位移场到非线性 N 体位移场的映射，使用 style parameters 编码宇宙学依赖性。在 k ~ 1 h/Mpc 处达到百分比级精度。

加速 100-10000 倍的意义不仅是省钱。未来的 DESI、Euclid、LSST 巡天将生成 TB-PB 级的观测数据。要从不完整、有噪声的观测中反演宇宙学参数，需要数百万次宇宙学模拟作为 MCMC 的一环——只有神经仿真器能做到这一点。

7.3 系统启示#

• I/O 可能是算力的瓶颈：GWAS 和天文学的数据量（TB-PB 级）让 I/O pipeline 成为不可忽视的系统设计维度
• 科学数据格式与分布式训练存在阻抗不匹配：基因组学用 VCF/BAM/PLINK，天文学用 FITS，这些格式都为列式分析设计，而非随机采样训练 batch
• 神经仿真器的推理吞吐直接决定科学产出：MCMC 需要数百万次仿真器推理，每次推理 10 ms vs 100 ms 决定参数估计需要跑几天还是几周

8.1 统一表示的野心#

最近一波跨领域科学基础模型值得关注。NatureLM [17]（2025 年）以 46.7B 参数同时处理小分子、蛋白质、RNA、材料、DNA、细胞。它的关键设计是不做领域特定架构，而是用一个序列模型统一处理所有科学对象——分子用 SMILES 字符串、蛋白质用氨基酸序列、RNA 用碱基序列、材料用晶体学信息字符串。

UniGenX [18] 更进一步：同时生成序列和 3D 坐标（蛋白质、分子、材料的 3D 结构），用一个模型覆盖三个领域。

8.2 系统代价#

统一是昂贵的。NatureLM 46.7B 的预训练投入与最大 LLM 的训练相当：数千 GPU、数月时间、数十 TB 的跨领域数据。但收益是模型的跨领域泛化能力（如用蛋白质数据帮助 RNA 折叠预测）和开发效率（一个模型替代三个领域专家模型）。

对系统研究者来说，要害问题是：微调和推理的规模将远超预训练。 预训练只做一次，但每个具体科学问题都需要微调（AlphaFold 微调、催化剂设计微调、药物分子生成微调）。如果把所有科学问题的推理需求加总，推理的计算量将是预训练的数十到数百倍。

8.3 系统启示#

• 预训练是一次性投入、推理是持续性负载：科学基础模型的系统优化重点应该在推理效率上（类似 LLM 推理优化的经验可以直接迁移）
• 跨领域共享权重降低了每个领域的微调成本：不需要从头训练，LoRA / adapter 级别的微调就能适配新领域
• 数据混杂性是特有挑战：训练数据跨越了从原子尺度（Å）到细胞尺度（μm）的物理尺度，tokenizer 和 positional encoding 需要特殊设计

9.1 各领域计算特征横向对比#

9.2 跨领域的系统模式#

模式 1：Memory-bound 的根源往往是 O(N²)

无论是蛋白质的 pair representation 还是量子化学电子积分，当问题本身需要在 N 个实体间建立两两关系时，显存需求就是平方增长。在这个 regime 中，HBM 容量决定了你能处理多大规模的科学问题——算力多强都没用。

模式 2：有几类应用的推理吞吐是真正瓶颈

对材料搜索和天文学宇宙参数推断而言，推理就是科学探索速度。在这种负载下，batching、低精度推理、专用推理硬件（而非训练优化硬件）才是正确方向。

模式 3：FP64 在少数领域不可协商

数据不是说”投更多数据就能容忍低精度”。薛定谔方程求解和 GWAS 线性系统在某些步骤必须 FP64。这为混合精度的设计提供了约束——不是每层都降精度，而是 step 级别的精度切换。

模式 4：数据工程被严重低估

跨领域基础模型、分子动力学、核聚变 RL 的经验一致——数据准备（归一化、对齐、跨域融合）的工作量和系统复杂度往往超过模型训练本身。数据格式转换（FITS/Zarr/VCF → tensor batch）是科学计算的 hidden cost。

模式 5：小模型高频调用是 AI for Science 的独特负载

分子动力学、核聚变 RL、宇宙学仿真器中的模型都极小（几百万参数或更少），但调用频率极高（毫秒/微秒级）。通用框架（PyTorch/TF）的 overhead 从背景噪音变成了 headline 瓶颈——这在 LLM 训练或服务中都从未出现过。

9.3 结语#

AI for Science 不是简单地把 CNN/Transformer 扔到科学数据上。每个科学领域的第一性原理（O(N²) 的两两交互、FP64 的精度需求、1 ms 的实时约束、十亿级的候选空间）决定了它对计算系统的独特需求。理解这些需求的本质——它们不是工程缺陷而是问题定义本身决定的——是做出好的系统设计的前提。