2.1 核心思想#

Block Floating Point (BFP) 的核心思想是：一组数值共享一个指数（scale factor），而非每个数值有自己的指数。这本质上是”分组归一化”——先用组内最大值确定一个共同的 scale，然后将组内所有值缩放到目标精度下表示。

形式化地，对于一个包含 $k$ 个元素的数据块 $\{v_i\}_{i=1}^k$：

• 计算 shared exponent：$X = 2^{\lfloor \log_2(\max_i |v_i|) \rfloor - emax}$
• 每个元素量化为：$P_i = quantize(v_i / X)$
• 实际值重建为：$\hat{v}_i = X \cdot P_i$

2.2 两个关键设计参数#

在这个框架下，不同的 BFP 实现有两个关键的自由度：

1. 块大小 $k$：多少元素共享一个 scale factor。$k$ 越小，scale 越能反映局部数值特征，但存储开销越大（每个块多存一个 scale）。
2. Scale factor 的表示精度 $w$：scale 本身用什么格式存储。整数次幂（如 E8M0）最简单但精度最低；浮点格式（如 E4M3）更灵活但计算更复杂。

MXFP4 和 NVFP4 正是在这两个参数上做出了截然不同的选择。

3.1 MXFP4#

MXFP4 由 Open Compute Project (OCP) 标准化，是 Microscaling Formats (MX) 规范 v1.0 的一部分。其定义如下：

设计哲学：简洁、标准化、低复杂度。E8M0 提供 $2^{-127}$ 到 $2^{127}$ 的指数范围，scale factor 的计算是纯 bit-shift。k=32 与 tensor core 的 32-thread warp 结构对齐。

3.2 NVFP4#

NVFP4 是 NVIDIA 在 Blackwell 架构中引入的专有格式，其定义如下：

设计哲学：精度优先。通过减小块大小（更局部化适配）和提升 scale factor 精度（非 2 的幂）来降低量化误差，代价是略高的存储开销（4.5 vs 4.25 bit/element）和双层缩放的实现复杂度。

4.1 E8M0 vs E4M3：不只是精度差异#

MXFP4 的 E8M0 表示 $2^n$，其中 $n \in [-127, 127]$。这意味着 scale factor 只能是 2 的整数次幂。当 block 内元素的分布不恰好落在 $2^n$ 的边界上时，scale 的 round-to-nearest 误差会系统性地放大。

NVFP4 的 E4M3 是 7-bit 浮点数（4 位指数 + 3 位尾数），可以表示非 2 的幂的任意值（如 1.25×, 1.375×, 1.5× 等）。这使得 scale factor 可以更精确地适配 block 内数值的统计分布。

Comment: 用 NVIDIA 博客中的数值例子来说明：假设一个 block 的 amax 是 5.0，E8M0 的 scale 必须是 $2^3 = 8$（over-scaling），导致 block 内所有值被”拉大”1.6×；而 E4M3 可以选择更贴近的 scale（如 5.0 本身或其附近的值），量化误差自然更小。

4.2 单层 vs 双层缩放#

MXFP4 的单层缩放有一个隐含假设：E8M0 的指数范围（$2^{-127} \sim 2^{127}$）足以覆盖任何实际 tensor 的动态范围。这在绝大多数情况下是对的，但在极端分布下可能出现问题。

NVFP4 选择了更保守的策略：

1. 第一层：E4M3 block scale 提供精细的局部适配（精度高，但范围有限）
2. 第二层：FP32 tensor scale 补偿全局动态范围（精度无损，因为只有一个标量）

这种”分工合作”的思路使得 NVFP4 的 L1 scale 不需要承担覆盖全动态范围的责任，可以专注于精度。

4.3 块大小 16 vs 32 的统计学意义#

这是两个格式最根本的差异之一。块大小直接影响量化误差的统计分布。

在一个 block 内，被量化的 $k$ 个元素共享同一个 scale factor $X$。$X$ 由 block 内的 amax 决定：$X \propto \max_i |v_i|$。因此，block 内的量化误差取决于所有元素与 amax 的相对比例关系。

• k=32（MXFP4）：32 个元素中，amax 很可能是一个 outlier。其余 31 个值被迫使用这个”为 outlier 量身定制”的 scale，导致均匀分布的值被 over-scale，系统性地浪费了宝贵的 4-bit 量化精度。

• k=16（NVFP4）：块大小减半，outlier 影响范围缩小一倍。在统计意义上，16 个值中至少有一个极端 outlier 的概率远低于 32 个值中至少有 outlier 的概率——假设权重近似正态分布，这大致等价于：NVFP4 每个 block 的 amax 更接近该 block 内元素的”典型”最大幅度，而非极端 outlier。

定量直觉：给定权重张量的正态性，k=16 的每个 block 内，最大值超出均值 2σ 以上的概率约为 k=32 对应概率的 50%-60%。这意味着 NVFP4 比 MXFP4 有大约两倍的概率选到一个”不偏激”的 scale factor。

5.1 硬件支持#

Blackwell PTX ISA 中：

• tcgen05.mma.kind::mxf4：执行 MXFP4 的 block scaling 矩阵乘，scale_vec 仅支持 2X（block32），scale 类型为 UE8M0
• tcgen05.mma.kind::mxf4nvf4：执行 NVFP4 的 block scaling 矩阵乘，scale_vec 支持 2X（block32，向后兼容 MXFP4）+ 4X（block16，NVFP4 独有），scale 类型支持 UE8M0 + UE4M3

Comment: 从 PTX 指令命名（.mxf4nvf4）可以看出，NVIDIA 将 NVFP4 定位为 MXFP4 的超集而非替代。Blackwell tensor core 可以同时跑两种格式，开发者可在同一硬件上按需选择。

5.2 软件生态#

5.3 标准化与生态绑定#

MXFP4 的标准化地位是一把双刃剑：

优势：

• 跨厂商互操作：AMD、Intel、Arm 均承诺支持 MX 格式
• 长期稳定性：作为 OCP 标准，格式定义不会受单一厂商的商业策略影响
• 研究社区：arXiv 论文、OCP 仿真库便于学术研究和复现

劣势：

• 迭代慢：标准修改需联盟共识
• 性能上限受限于”最小公分母”式的设计妥协

NVFP4 是 NVIDIA 的事实标准策略——通过 Blackwell 的市场份额和 CUDA 生态的深度整合来推动采用。正如 CUDA 本身从未成为 IEEE/ISO 标准，NVFP4 也不需要 OCP 背书。对实际用户而言，选择权受限于所使用的硬件平台：如果你跑在 Blackwell 上，NVFP4 就是最佳选择；如果你需要跨 AMD/Intel/NVIDIA 部署，MXFP4 是目前唯一的选项。

6.1 MXFP4 实验数据#

以下数据均来自 OCP Microscaling Formats 论文（arXiv:2310.10537），使用 OCP 仿真库在现有 GPU 上完成。

6.2 NVFP4 实验数据#

以下数据来自 NVIDIA 官方技术博客（2025 年 6 月 24 日），基于 Blackwell 硬件原生执行（非仿真）。

6.3 对比分析#

由于 NVFP4 和 MXFP4 尚未在同一模型上被直接对比过，我们需要从已有的独立实验中推断它们的相对表现。

7.1 量化误差的根源差异#

NVFP4 相对 MXFP4 的精度优势可以归因于三个独立机制的叠加：

1. 块大小减半（32→16）：减少 outlier”绑架”全 block 的概率
2. 非 2 的幂 scale（E8M0→E4M3）：消除 scale factor 本身的 round-to-nearest 系统误差
3. 双层缩放：让 block scale 专注于精度而非动态范围

这三个机制并非等权重。从统计推断来看，块大小减半的影响可能最大——它直接改变了量化误差的 PDF（概率密度函数）形状，而 E4M3 只是在给定 amax 下的 scale 选择精度上做优化。

7.2 什么时候选 MXFP4？#

• 跨厂商部署：需要在 AMD、Intel 或未来其他平台运行
• 标准合规需求：企业策略要求使用开放标准格式
• 训练场景：当前 MXFP4 是唯一有公开训练实验数据的 4-bit 格式
• “够用就行”的场景：大模型 + 混合精度 + QAT/finetuning 补偿

7.3 什么时候选 NVFP4？#

• Blackwell-only 部署：最大化单一硬件平台的推理效率
• PTQ 零摩擦量化：不想做 QAT/finetune，又要 4-bit 推理精度
• 小模型或敏感模型：对量化误差容忍度低的场景
• Activation 量化需求：需要同时量化权重和激活时，NVFP4 的 E4M3 + k=16 更可靠

8.1 标准化 vs 性能的分歧可能收敛#

NVIDIA 的 Eric Chung（NVFP4 博客作者之一）恰好也是 OCP MX 联盟的联合创始人。这意味着 NVFP4 的技术改进很可能会反馈到下一代 OCP MX 标准中（如 MX v2.0 引入更小的 block size 选项或更精确的 scale format）。

8.2 软件生态趋同#

TensorRT-LLM 和 vLLM 已经同时支持两种格式。对上层应用开发者来说，选择格式可能仅仅是一个配置参数的问题，底层硬件透明处理。这将降低格式选择的沉没成本。

8.3 FP4 的竞争对手#

MXFP6（6-bit, E2M3/E3M2 + E8M0 block scale）在精度和压缩率之间提供了一个”甜点”——MX 论文显示 MXFP6 几乎可以在所有 direct-cast 推理任务上匹配 FP32。随着显存带宽持续增长（HBM4），6-bit 可能成为比 4-bit 更”实际好用”的默认选择，而 4-bit 则退居极端压缩需求的特殊场景。

8.4 下一步需要什么？#

1. 直接的 NVFP4 vs MXFP4 对比实验：同一模型、同一 benchmark、同一 PTQ pipeline
2. NVFP4 的独立第三方评估：非 NVIDIA 团队在 Blackwell 硬件上复现精度声明
3. NVFP4 训练实验：MXFP4 已证明 4-bit 权重训练可行，NVFP4 的理论优势应该能进一步缩小训练 gap
4. 6-bit vs 4-bit 的工程权衡：在实际部署中（而非论文中），MXFP6 是否已经够好？

Comment: 坦率地说，FP4 量化仍处于”证明自己”的阶段。与 FP8 在 Hopper 上的快速普及不同，4-bit 还需要跨越精度-性能的临界点。NVFP4 是这个方向上的重要一步，但它是否是最终答案——还有待时间验证。