大语言模型量化万字深度解析从 GPTQ 到旋转量化、NVFP4 与 1.58-bit 原生训练

00为什么量化是大模型时代的刚需

模型压缩的核心矛盾一句话讲清楚：大模型参数量从千亿冲向万亿，而全球 90%+ 的应用场景受限于算力、显存和延迟。一个 70B 模型在 FP16 下需要 140GB 显存——两块 A100-80GB 才勉强跑起来。而 2026 年推理已占 AI 总算力的 67%+，仅 OpenAI 一家的年推理支出就约 23 亿美元。量化正是在"能力保留"与"成本压缩"的夹缝里求最优解的关键桥梁。

量化对成本的影响是一条清晰的链条：量化 → 显存下降 → 单卡可部署更大模型 → GPU 利用率提升 → 吞吐上升 → 单 token 成本下降。以 Llama-3.3-70B 为例，这条链条的经济价值一目了然：

01量化的数学：scale、zero-point 与粒度

量化就是把连续（或高精度）的浮点数值，映射到一个有限的、低比特的离散集合。最常见的均匀仿射量化（uniform affine quantization）把浮点数 x 映射为 b-bit 整数：

其中两个关键参数由数据的动态范围决定。对于把区间 [α, β] 映射到 b-bit：

量化误差本质是"取整误差"。若量化步长为 s，单个数值的量化误差服从 [−s/2, s/2] 的近似均匀分布，其方差为：

量化粒度：per-tensor / per-channel / per-group

"一个 scale 管多少个数"决定了精度与开销的权衡。粒度越细，越能贴合局部分布，但存储 scale 的开销越大：

02万恶之源：激活离群值 (outlier)

权重量化相对好办——权重分布规整、近似高斯。真正让低比特量化举步维艰的是激活值里的离群值。

其根源在于 Transformer 结构本身：LayerNorm/RMSNorm 把特征归一化后，注意力机制会在某些"显著性特征"维度上产生集中放大效应。更麻烦的是——这些离群值不是噪声，而是模型真正依赖的重要信息，不能简单裁剪掉。

这就引出了 PTQ 领域的三条技术主线，本质都是在回答"如何驯服离群值"：

03GPTQ — 基于 Hessian 的近似二阶量化

arXiv:2210.17323 · Frantar et al. · ICLR 2023 · 误差补偿派的奠基之作

GPTQ 把权重量化建模成一个优化问题：寻找量化后的权重 Ŵ，使得该层输出的重构误差最小：

这个目标的 Hessian 矩阵（二阶导）恰好是 H = 2XX^T。GPTQ 的核心洞察是：逐列量化权重，每量化完一列，就立即用 Hessian 信息把产生的误差"预支"补偿到还没量化的列上。补偿更新公式为：

工程上，GPTQ 用 Cholesky 分解预先算好 H^-1 提升数值稳定性，并按块（block=128 列）批量处理以提升效率。效果如下：

04AWQ — 激活感知的权重量化

arXiv:2306.00978 · Lin et al. · MLSys 2024 (最佳论文) · 缩放迁移派 · 2026 生产部署首选

AWQ 的核心洞察比 GPTQ 更进一步：并非所有权重通道同等重要。不到 1% 的"显著性通道"（salient channels，对应高幅度激活的特征维度）贡献了超过 50% 的量化误差。

一个朴素想法是：把这 1% 的重要通道保留成 FP16、其余量化。但混合精度对硬件不友好。AWQ 的巧妙之处是——通过逐通道缩放，把这些重要通道"放大"后再量化，等效于给它们更多的量化精度，而不破坏统一的低比特格式。

具体地，对一个线性层 Y = WX，插入一个对角缩放矩阵 diag(s) 并保持数学等价：

缩放因子的搜索由激活幅度驱动。AWQ 用一个简洁的幂律形式定义每通道缩放，并做网格搜索确定指数 α：

05SmoothQuant — 把量化难度从激活迁移到权重

arXiv:2211.10438 · Xiao et al. · ICML 2023 · W8A8 的关键钥匙

GPTQ 和 AWQ 都只量化权重（激活保持 FP16，即 W4A16）。但要真正省下计算（而不只是显存），必须同时量化激活，用上 INT8 tensor core。SmoothQuant 专门解决"激活难量化"这个痛点。

它的思路极其优雅：既然激活里有离群值难量化、而权重很好量化，那就用一个逐通道的平滑因子 s，把激活的"量化难度"按比例转移一部分给权重——

平滑因子由激活和权重的幅度共同决定，用一个迁移强度超参 α 控制在两者间的分配：

06旋转量化 — QuIP# / QuaRot / SpinQuant

从"补偿/迁移离群值"到"从根本上消灭离群值"——当前 W4A4 端到端量化的 SOTA 路线

缩放迁移派只是把离群值"搬来搬去"，无法真正消除。旋转派提出了一个更彻底的思路：用一个正交变换（旋转）把权重/激活矩阵乘一下，让能量在所有维度上重新均匀分布，离群值就被"打散"消失了。

数学基础：计算不变性与不相干处理

核心依据是计算不变性（computational invariance）：对一个线性层，若在权重前乘一个正交矩阵 Q（Q^TQ = I），并在输入端乘 Q^T，则层的输出完全不变：

为什么旋转能消除离群值？关键概念是不相干性（incoherence）。QuIP 定义：一个矩阵是 μ-不相干的，若其元素的最大幅度被"能量均摊"后的界限约束：

实践中用 随机化 Hadamard 变换（RHT），因为 Hadamard 矩阵 H 只含 ±1、可以用 O(n log n) 的快速变换（类似 FFT）实现，几乎零额外算力：

三个代表方法的分工

QuaRot 的四类旋转

QuaRot 在网络的不同位置插入四种 Hadamard 旋转（R1–R4），分别处理残差流、注意力和 FFN。得益于 RMSNorm 的计算不变性，R1/R2 可以被"吸收"进相邻权重里，推理时零额外开销；R3/R4 则是在线 Hadamard 变换，成本极低。

07FP8 与 NVFP4 — 硬件原生的低精度浮点

当整数量化撞上离群值天花板，浮点格式凭借"动态范围"另辟蹊径

INT4 是均匀量化——所有量化格子等宽。但神经网络的数值分布是钟形的：绝大多数值靠近 0，少数值很大。浮点格式（指数+尾数）天然是"非均匀"的——靠近 0 的地方格子密、远离 0 的地方格子疏，恰好契合这种分布。这就是低比特浮点的先天优势。

FP8：H100 时代的甜点

FP8 有两种排布，用指数位(E)和尾数位(M)的分配权衡动态范围与精度：

NVFP4：Blackwell 原生的 4-bit 浮点

NVFP4 是 NVIDIA Blackwell（B200/GB200）平台主推的 4-bit 浮点格式，采用 E2M1（1 符号 + 2 指数 + 1 尾数）编码，配块级微缩放（microscaling）：每 16 个元素一个块，共享一个 FP8(E4M3) 的块缩放因子。反量化时：

08KV-Cache 量化 — 长上下文的生命线

当上下文冲向百万 token，KV-Cache 而非权重，成了显存的头号杀手

自回归推理时，模型把每个历史 token 的 Key/Value 缓存下来避免重算。这个 KV-Cache 的大小随上下文长度线性增长：

09BitNet b1.58 — 三值权重的原生低比特革命

arXiv:2402.17764 · Ma et al. (Microsoft Research + 中科院) · 2024.02 · 训练侧路线的旗帜

前面所有 PTQ 方法都是"先训练一个 FP16 模型，再想办法压缩"。BitNet 提出一个截然不同的哲学：为什么不一开始就用低比特训练？ 如果模型从头就知道自己要在低比特下工作，它会主动学出适合低比特的权重分布。

1.58 比特是什么意思？

BitNet b1.58 把每个权重限制成三个值之一：{−1, 0, +1}。三个状态的信息量恰好是：

核心机制：absmean 量化 + 无乘法矩阵运算

训练时，权重矩阵 W 先按其绝对值均值 γ 归一化，再四舍五入到 {−1,0,+1}：

激活则量化到 8-bit（用 absmax per-token 缩放）。最革命性的后果是——当权重只有 {−1,0,+1} 时，矩阵乘法里的乘法全部消失了：

训练时用直通估计器（Straight-Through Estimator, STE）解决量化不可导的问题：前向用量化值，反向假装量化是恒等函数直接传梯度：

10BitNet 生态 — a4.8 / 2B4T / Spectra

11ParetoQ — 到底该用几比特？

arXiv:2502.02631 · Meta · NeurIPS 2025 · 极低比特量化的统一 scaling law

BitNet 证明了 1.58-bit 可行，但业界一直有争论：4-bit 好还是 1.58-bit 好？ ParetoQ 是第一个把 1 / 1.58 / 2 / 3 / 4-bit 放在同一个训练框架下严格对比的工作，终于给出可信答案。

ParetoQ 的意义在于把"低比特训练"从 BitNet 的单点证明，升级为一条可指导工程的 Pareto 前沿：在"模型质量-部署体积"这个二维平面上，2-bit 和 1.58-bit 占据了帕累托最优的位置。考虑硬件约束，2-bit 量化在显存压缩和加速上潜力最大。这为 BitNet 类原生低比特路线提供了强有力的理论背书。

12ICML 2026 量化图谱 — 前沿在往哪走

从 ICLR/ICML 2026 收录的近百篇量化论文可以清晰看到六个研究热点，几乎覆盖了本文讲的所有主线的最新延伸：

13工程选型决策树 — 2026 实战建议