Hopper架构：H100 / H200#

GH100芯片基于台积电4N定制工艺，800亿晶体管，814 mm² die面积。

Hopper架构的关键创新包括第4代Tensor Core、TMA（Tensor Memory Accelerator）异步数据传输、WGMMA（warp-group级别矩阵乘法）指令及FP8 Transformer Engine的动态精度缩放。第4代NVSwitch（3.2 TB/s双向芯片带宽）支持单NVLink域内最多256颗GPU的全互联。

来源： NVIDIA Hopper Architecture Whitepaper, NVIDIA H100 Product Page, NVIDIA H200 Product Page, NVSwitch Technical Blog

Blackwell架构：B200 / GB200#

Blackwell采用双reticle设计（两个104B晶体管的die通过NV-HBI 10 TB/s桥接为统一GPU），基于台积电4NP增强工艺，总计2080亿晶体管。

Blackwell Ultra (B300/GB300, 2025年下半年)：

GB200 NVL72 超节点： 72颗B200 GPU + 36颗Grace CPU，总计13.5 TB HBM3e、576 TB/s总显存带宽。18颗NVSwitch（9 tray）提供130 TB/s无阻塞all-to-all全互联，72颗GPU作为统一加速器呈现。单机架FP4推理算力达1.44 EFLOPS，功耗~120 kW，液冷。

DGX SuperPOD (B200): 8×GB200 NVL72 = 576颗GPU，>1 PB/s NVLink域，11.5 EFLOPS FP4。

Blackwell关键架构创新：

• 第5代Tensor Core：原生支持NVFP4（E2M1+微张量共享指数）、MXFP4（OCP标准f4E2M1FN）、MXFP6（f6E2M3FN/f6E3M2FN）、FP6（E3M2/E2M3）
• 微张量缩放（Micro-Tensor Scaling）：每32元素块共享E8M0缩放因子，实现低精度下的高动态范围
• TMEM（Tensor Memory）：每SM专用片上张量内存，与共享内存分离
• NV-HBI：10 TB/s片间互联将两个die统一为单颗CUDA GPU
• 解压缩引擎：800 GB/s吞吐量

来源： NVIDIA Blackwell Technical Blog, NVIDIA GB200 NVL72, Blackwell Microbenchmarking (arXiv:2512.02189), NVIDIA Blackwell Ultra Blog

Vera Rubin架构 (2026年下半年)#

CES 2026发布的下一代平台，台积电3nm工艺，GPU部分3360亿晶体管。

来源： NVIDIA Vera Rubin at CES 2026, NVIDIA DGX Rubin NVL8

实际使用情况#

NVIDIA GPU是全球AI训练和推理的事实标准：

• GPT-4：~25,000颗A100训练
• Llama 3 405B (Meta)：16,384颗H100训练，54天
• DeepSeek V3/R1：~2,048颗H800训练，成本约$5.58M
• Grok (xAI)：~100,000颗H100 Colossus集群
• GB200 NVL72已在CoreWeave、Azure部署

软件栈#

MI300X (CDNA 3, 当前主力)#

台积电5nm (XCD) + 6nm (IOD), ~1,530亿晶体管, 304个CU, 19,456个流处理器。

MI300X的FP64向量性能（81.7 TFLOPS）为H100（34 TFLOPS）的2.4倍，在HPC工作负载中具备显著优势。但GPU间带宽（128 GB/s/链路）仅为NVLink 4（900 GB/s总）的约七分之一，多GPU扩展受限。

MI355X (CDNA 4, 2025下半年)#

台积电N3P (XCD) + N6 (IOD), ~1,850亿晶体管, 256个CU (有意减少), 16,384个流处理器。

CDNA 4关键创新： 每CU矩阵吞吐量翻倍（FP8从4096增至8192 FLOPS/周期），LDS扩大至160 KB/CU（2.5倍），原生MXFP4/MXFP6支持，I/O die从4个合并为2个。CU数从304减至256是为了2次幂分块优化。

MLPerf Inference v5.1（FP4提交）：

• Llama 2 70B离线 (8×MI355X)：93,045 tokens/s，比B200快41%，比H200快196%
• Llama 3.1 405B离线 (8-GPU)：2,109 tokens/s，比GB200快27%

独立基准（Signal65/SemiAnalysis，2025）： 芯片级MI355X在DeepSeek-R1上比B200快1.2倍。但多GPU扩展受限于Infinity Fabric，GB200 NVL72的NVLink域在DeepSeek-R1上领先最高28倍。

来源： AMD MI355X Product Page, AMD MLPerf Inference v5.1, AMD MLPerf Training v5.1, CDNA 4 ISA Details

MI400系列 (CDNA Next/UDNA, 2026下半年)#

台积电N2 (2nm) 计算芯片 + N3P I/O/中介层, ~3,200亿晶体管 (MI455X), CoWoS-L封装。

Helios 机架系统： 72×MI455X + 18×Zen 6 EPYC “Venice” (2nm, 256核/颗), 31 TB HBM4总容量, 1.4 PB/s聚合带宽, 2.9 EFLOPS FP4推理, UALink开放标准互连。

来源： AMD MI400 CES 2026, MI400 Specs

实际部署#

• Meta：MI300X用于Llama 405B专属推理
• Microsoft Azure：ND MI300X v5 VM系列，用于GPT-4推理
• OpenAI：多年协议，2026下半年起部署1 GW MI450
• Oracle Cloud：部署MI300X用于训练和推理，宣布MI355X实例
• xAI、Character.AI、Cohere、IBM：大规模采用
• AMD声称全球前10大AI公司中7家在用Instinct GPU

软件栈：ROCm 7#

ROCm完全开源。ROCm 7.0 (2025 Q3) 提供原生FP4/FP6/FP8支持，推理性能较ROCm 6提升3.5倍。PyTorch已是最成熟的框架，通过HIP可编译90%+的CUDA内核。vLLM和SGLang有官方ROCm镜像，DeepSpeed、JAX、Triton均已支持。Megatron-LM兼容性持续改善。

剩余差距： 开发者习惯（CUDA锁定）、库成熟度（cuDNN/TensorRT无精确替代品）、安装复杂度、企业信任度。

来源： AMD ROCm 7, ROCm vs CUDA Analysis

TPU v6 “Trillium” (2024, 当前量产)#

关于稀疏性： TPU的MXU仅处理稠密矩阵乘法，无2:4结构化稀疏支持。SparseCore（第3代） 是专用数据流加速器，用于推荐系统的嵌入查找（随机/细粒度内存访问），而非稀疏矩阵乘法。SparseCore与MXU协同工作：嵌入在SparseCore上，稠密变换在MXU上。

TPU v7 “Ironwood” (2025年4月发布, 2025年11月GA)#

架构亮点：

• FlexCore 计算核心：4,096 MAC单元/核心, 支持FP32/FP16/BF16/FP8混合精度, 64 MB L3/核心 (向量引擎), MXU为512×512有效阵列 (FP8模式)
• 第4代SparseCore：不仅处理嵌入查找，还能卸载集合通信操作（All-Gather、Reduce-Scatter），实现计算与通信接近完美重叠（减少15-22%训练步时间）
• 硅光子互联 (OCS)：片上直接集成激光器和调制器, 波分复用, 单链路1.6 TB/s, 延迟从20μs降至5μs（↓75%）。光电路交换动态路由芯片间通信，是9,216芯片SuperPod的关键使能技术
• 双设备编程模型：从MegaCore单核→双TPU设备直接访问

SuperPod (9,216芯片)：42.5 EFLOPS FP8, 总HBM ~1.77 PB。对比Frontier超算（1.7 EF）达24倍以上。

实际使用：

• Gemini系列模型训练和推理
• Anthropic Claude部分工作负载已运行在Ironwood
• Midjourney迁移至TPU v6e后推理成本降低65%

软件栈： JAX（主力）、TensorFlow、PyTorch/XLA。vLLM通过XLA后端支持。Google Cloud提供TPU实例。TPU单位美元性能为GPU的1.4倍。

来源： Google Ironwood Announcement, Google TPU vs NVIDIA Framework, Ironwood Deep Dive

Trainium 2 (2024年12月GA)#

Project Rainier：~50万颗Trainium2，全球最大非NVIDIA AI集群，为Anthropic Claude训练提供算力。截至2026年初总部署约140万颗。

Trainium 3 (2025年12月GA)#

实际性能： Anthropic Claude生产工作负载已运行在Trainium3。Decart实时生成视频推理4倍加速，成本为GPU的一半。Amazon Bedrock通过Trainium3提供推理流量。

软件栈： Neuron SDK（含PyTorch、Triton、JAX、vLLM支持），Neuron Kernel Library。

来源： AWS Trainium3 UltraServers, AWS Trainium Ecosystem Guide, Trainium3 vs NVIDIA

Maia 200 (2026年1月发布, 已部署)#

实际部署：

• 已部署于Azure US Central (Des Moines) 和 US West 3 (Phoenix)
• 驱动OpenAI GPT-5.2推理、Microsoft 365 Copilot、内部Superintelligence团队工作负载
• 微软声称比同集群最新硬件性价比高30%

软件栈： Maia SDK (预览)，含PyTorch集成、Triton编译器、优化内核库、NPL低层编程语言、模拟器和成本计算器。

来源： Microsoft Maia 200 Blog, Maia 200 Specifications

MTIA v2 (2025年部署, 2026年3月公开)#

代际提升 (vs v1)： Dense性能3.5倍, Sparse性能7倍, SRAM容量翻倍/带宽3.5倍。

实际使用： 已部署于Meta数据中心，服务排序推荐、广告模型和GenAI工作负载。Meta表示两年内迭代了四代，目前正推进扩展至LLM和多模态模型。

软件栈： 自研编译器和运行时，PyTorch集成。目前主要面向Meta内部工作负载，不对外商用。

来源： Meta MTIA Roadmap, Meta MTIA v2

Gaudi 3 (2024 Q4 GA, 当前产品)#

台积电5nm, 64个第5代TPC, 8个MME (256×256 MAC阵列)。

为什么不成功：

• 2024年$500M营收目标未达成
• 2025年出货目标下调30%
• SynapseAI软件栈落后CUDA约15年
• Falcon Shores于2025年1月取消商业化

Jaguar Shores (2026年, 唯一未来赌注)#

Intel已从卖独立加速芯片全面转向机架级系统方案，直接对标NVIDIA NVL72路线。Habana Labs主导Jaguar Shores开发。

来源： Intel Gaudi 3 Launch, Intel Cancels Falcon Shores, Jaguar Shores

Groq 3 LPU (LP30, 三星SF4X 4nm, 2026下半年)#

• 无稀疏计算。 LPU架构不做稀疏——所有计算为稠密。
• 无HBM、无DRAM、无Cache。 SRAM是唯一内存，编译器显式放置所有数据。
• 确定性执行： 无动态调度、无乱序执行、无分支预测。P99延迟=P50延迟。最差情况抖动±3μs。芯片利用率可达98%（GPU通常<40%）。

LPX机架系统（256颗Groq 3 LPU）：

实际推理性能（部分在v1/v2上）：

• Llama 3.1 8B: 840 tok/s
• GPT-OSS 20B: 1,000 tok/s
• Llama 4 Scout: 594 tok/s
• Qwen3 32B: 662 tok/s
• Whisper V3: 217-228倍实时转录
• 能耗: ~1-3 Joules/token (H100: 10-30 J)

NVIDIA整合策略： Groq 3 LPU并非替代GPU，而是补充推理decoding。AFD (Attention-FFN Disaggregation)：Rubin GPU处理prefill/attention/KV-cache，LPU处理FFN/MoE decode，万亿参数模型decoding达1,500+ tok/s。

软件栈： MLIR前端 + Haskell (DSL “Haste”) 后端。不支持Triton——Triton的动态内核编译模型与确定性VLIW数据流架构不兼容。编译器预计算完整执行图（含所有芯片间通信），精确到时钟周期。

来源： Inside Groq LPU, Groq 3 LPX at GTC, Groq Chip Deep Dive

SN40L (第4代, 台积电5nm, 当前)#

SN50 (第5代, 2026下半年)#

Agentic Caching： 输入token缓存在内存中，减少prefill处理和TTFT。模型可毫秒级热切换。

实际部署： SoftBank（首个SN50客户，日本AI数据中心），Intel战略合作（Intel CEO为SambaNova执行主席）。DeepSeek R1 671B和Llama 4 Maverick可在单机架上运行。

来源： SambaNova SN40L RDU, SambaNova SN50 Launch, SambaNova Intel Partnership

Blackhole p150 (6nm, 当前出货)#

• 所有计算为稠密——无稀疏Tensor Core声明。
• 支持的格式：FP8, FP16, BF16, FP32(输出), FP64(RISC-V), BlockFP2/FP4/FP8, INT8/16/32/64, TF32。

TT-QuietBox 2 (桌面AI工作站, 2026 Q2)：

• 4×Blackhole处理器, 480个Tensix核心, 2,654 TFLOPS BlockFP8
• 128 GB GDDR6总 + 256 GB DDR5系统内存
• 液冷, ~1,400W, $9,999起
• Llama 3.1 70B: 476.5 tok/s

全开源软件栈： TT-Metalium (底层SDK), TT-NN (PyTorch风格算子库), TT-Forge (MLIR编译器), TT-XLA (PyTorch/JAX前端)。PyTorch、ONNX、TensorFlow、JAX、PaddlePaddle均支持。

来源： Tenstorrent Blackhole Specs, TT-Metalium, QuietBox 2

昇腾910B / 910C#

• 910B训练效率达A100的~80%。
• 910C在DeepSeek推理中达H100的~60%性能。
• CloudMatrix 384超节点：384颗910C, DeepSeek-R1推理Prefill 6,688 tok/s/卡, Decode 1,943 tok/s/卡。

昇腾950PR (2026 Q1商用, 推理专用) / 950DT (2026 Q4, 训练+推理)#

Atlas 950超节点： 最大支持8,192卡, FP8总8 EFLOPS, 总内存1,152 TB, 推理时延从50ms降至10ms。

昇腾970 (规划2028Q4)： FP4目标8 PFLOPS。

来源： 昇腾910C DeepSeek一体机, CloudMatrix 384超节点, Atlas 950

实际使用——DeepSeek V4里程碑#

2026年4月24日，DeepSeek V4成为全球首个完全脱离CUDA生态的万亿参数大模型。底层约40万个算子从CUDA重写为CANN架构，精度误差<0.5%。实测单卡Decode吞吐达4,700 TPS，推理成本降至NVIDIA方案的1/3。

来源： DeepSeek V4 on Ascend 950PR, DS V4脱离CUDA

软件栈#

• CANN 9.0 (已全面开源)：1,500+基础算子, 100+融合算子
• MindSpore：自研AI框架
• vLLM-Ascend (官方社区插件)：遵循Hardware Pluggable架构, 支持LLaMA/Qwen/DeepSeek-V3/GLM-4
• SGLang：原生支持昇腾NPU, 提供PD分离部署
• PyTorch：华为维护的适配版本, 可一键转换CUDA代码
• 开发者生态超200万, 适配160+主流大模型, 服务600+企业

来源： vllm-ascend, SGLang Ascend Quick Start, CANN开源

思元590 (7nm, 当前)#

在字节跳动推荐系统中大规模部署，运行LLaMA3 70B推理仅比A100慢18%，成本低45%。

思元690 (5nm, Chiplet双Die, 2026量产)#

实际部署： 火山引擎平台已部署超2万张思元690卡。8卡全互联集群日均支撑10亿次AIGC内容生成。腾讯混元大模型训练测试思元690集群，误差<3%。

边缘芯片： 思元220-M.2已嵌入TikTok智能推荐系统，东南亚市场延迟降30%。

软件栈： Cambricon Neuware (类似CUDA), torch_mlu (PyTorch动态图适配), 通过FlagScale框架优化。适配DeepSeek-V3.1、Qwen3、GLM-4.6。**vLLM暂无明显官方支持。**开发者社区约10万人（vs CUDA 400万），软件生态是最大短板。

来源： 寒武纪字节跳动关系, 思元690部署, 寒武纪上市

真武810E (2026年1月)#

真武M890 (2026年5月20日发布)#

实际使用： Qwen3.7-Max旗舰模型在真武M890上推理，35小时内完成1,158次自主工具调用，推理速度提升10倍。截至2026年Q1累计出货60万片，服务国家电网、小鹏汽车、中国电信等400+客户。

路线图： V900 (2027 Q3, 3倍性能), J900 (2028 Q3, 全新架构)。

软件栈： 阿里云”芯-云-模型-推理”全栈体系。通过阿里云弹性GPU实例提供算力。PyTorch深度适配。公开文档较少，以内部使用为主。

来源： 真武M890发布, 阿里云峰会, AL128超节点

昆仑芯P800 (XPU架构, 当前主力)#

• 已承载百度绝大多数AI推理任务
• 万卡集群训练ERNIE 5.1，有效训练率97%，线性扩展性>85%

昆仑芯M300 (7nm, 2027年初, 部分参数已公布)#

超节点： 天池256 (2026 H1, 单卡吞吐增3.5倍), 天池512 (2026 H2, 完成万亿参数模型训练)。

实际客户： 招商银行、南方电网、吉利、Vivo、中国移动（十亿级集采）等上百家客户。

软件栈： PaddlePaddle (一行代码切至XPU), vLLM-Kunlun Plugin (已开源, 支持20+模型), FastDeploy。百度智能云出租昆仑芯算力。

来源： ERNIE 5.1 on Kunlunxin, 天池超节点, vLLM-Kunlun

MTT S5000 (第四代”平湖”MUSA, 2024-2025主力)#

DeepSeek 671B满血版推理（与硅基流动联合）： Prefill >4,000 tok/s, Decode >1,000 tok/s (峰值1,024), 达H100同场景~61%实测性能。

夸娥万卡集群(KUAE 2.0)： 10 EFLOPS总算力。

第五代”花港”架构 (2025年12月发布, 2026量产)#

• 算力密度+50%, 能效提升10倍, 支持十万卡+集群
• “华山” (AI训推, FP4-FP64全精度, 万卡集群)
• “庐山” (渲染, 3A性能×15, AI×64, 光追×50)

软件栈——进展最迅猛的国产厂商#

• MUSA 5.0：muDNN GEMM/FlashAttention效率>98%, 通信效率>97%
• Torch-MUSA：算子突破1,050个, 支持FlashAttention
• vLLM-MUSA：v1.3 prefill提10倍, 长上下文decode提3倍
• SGLang (2026年5月重大里程碑!)：MUSA后端正式合入SGLang主线，47个PR已合入41个。支持DeepSeek(含V4)、Qwen3/3.5、GLM 4/5、MiniMax M2.5/M2.7
• 深度对接Triton/FlagOS和TileLang。摩尔线程是Mooncake核心Maintainer。

来源： MTT S5000 DeepSeek 671B, MUSA合入SGLang, Torch-MUSA

壁砺166系列 (2025量产)#

光跃超节点128卡商用版 (2026年3月)：搭载壁砺166L液冷模组 + 曦智科技硅光OCS光交换 + 中兴AI服务器。

BR20X系列 (2026年计划)#

5nm (台积电, 有制程受限风险), 原生FP8/FP4, 256 GB HBM3E, 2 TB/s互连, 640卡互联。

Day 0适配（最快记录）： 腾讯混元Hy3 (295B MoE), Kimi K2.6 (1T MoE), GLM-5.1 (744B MoE), DeepSeek-V4, 中国移动九天35B等。

软件栈： BIRENSUPA (全自研), AIModelMaster (自研GPU全栈智能体实现Day 0极速适配), 500+模型开箱即用。

来源： 壁仞2025年报, 光跃128卡, BR20X路线图

曦云C500 (2024量产)#

曦云C600 (2025底风险量产→2026 H1量产)#

实际部署： Shanghai Cube 128卡液冷集群运行DeepSeek 671B满血版推理。Qwen3-4B支持256K超长上下文。阶跃星辰Step 3.5 Flash Day 0适配。

云支持： 腾讯云TencentOS Server 4原生支持, OpenCloudOS 8/9原生支持。适配浪潮、联想等9家OEM。

软件栈： MXMACA SDK, PyTorch/TensorFlow, vLLM部署文档。

来源： 沐曦C600, Shanghai Cube集群, 腾讯云沐曦支持

深算三号 (DCU 8300, 2025量产)#

深算四号 (2026量产)#

实际使用： 海光技术团队已成功完成DeepSeek V3/R1适配并正式上线，在科教、金融、医疗等规模化应用。据报道DeepSeek V4训练确实选用了海光DCU+寒武纪MLU，核心算子重构200+个。

迁移周期： 模型迁移仅15-20天 (昇腾需45-60天)。

软件栈： DTK (DCU Toolkit) 兼容ROCm生态。vLLM在DCU上可用但量化版适配困难。HSI高速互联 (400 GB/s)。

来源： 海光DeepSeek适配, DS V4训练芯片

天垓150 (当前)#

天垓200 (2026)#

面向大模型训练，细节待公布。路线图目标对标H200→B200 (算力需提升5-12倍)。

实际使用： 与无问芯穹合作在智铠百卡推理集群部署Infini-AI异构云平台。与Gitee AI合作一天内完成DeepSeek R1适配。中国电子云联合方案：芯片成本降15%, 推理并发增10倍+, 分布式训练加速近2倍。已支持36个大模型。

来源： 天数智芯招股, DS R1适配, 中国电子云方案

7G100 (6nm TrueGPU天图架构, 2026年6月发售)#

全球第四家通过微软WHQL认证的GPU厂商。支持NRSS超分 (对标DLSS/FSR)。专业版LX Ultra 24GB GDDR6+ECC。

生态： 适配海光/鲲鹏/飞腾/兆芯/龙芯CPU, Windows/麒麟/UOS/Ubuntu OS。AutoCAD/Solidworks/Blender等50+款专业软件。

来源： 砺算7G100首发, WHQL认证