大语言模型量化万字深度解析从 GPTQ 到旋转量化、NVFP4 与 1.58-bit 原生训练

00为什么量化是大模型时代的刚需

模型压缩的核心矛盾一句话讲清楚：大模型参数量从千亿冲向万亿，而全球 90%+ 的应用场景受限于算力、显存和延迟。一个 70B 模型在 FP16 下需要 140GB 显存——两块 A100-80GB 才勉强跑起来。而 2026 年推理已占 AI 总算力的 67%+，仅 OpenAI 一家的年推理支出就约 23 亿美元。量化正是在"能力保留"与"成本压缩"的夹缝里求最优解的关键桥梁。

量化对成本的影响是一条清晰的链条：量化 → 显存下降 → 单卡可部署更大模型 → GPU 利用率提升 → 吞吐上升 → 单 token 成本下降。以 Llama-3.3-70B 为例，这条链条的经济价值一目了然：

01量化的数学：scale、zero-point 与粒度

量化就是把连续（或高精度）的浮点数值，映射到一个有限的、低比特的离散集合。最常见的均匀仿射量化（uniform affine quantization）把浮点数 x 映射为 b-bit 整数：

其中两个关键参数由数据的动态范围决定。对于把区间 [α, β] 映射到 b-bit：

量化误差本质是"取整误差"。若量化步长为 s，单个数值的量化误差服从 [−s/2, s/2] 的近似均匀分布，其方差为：

量化粒度：per-tensor / per-channel / per-group

"一个 scale 管多少个数"决定了精度与开销的权衡。粒度越细，越能贴合局部分布，但存储 scale 的开销越大：

02万恶之源：激活离群值 (outlier)

权重量化相对好办——权重分布规整、近似高斯。真正让低比特量化举步维艰的是激活值里的离群值。

其根源在于 Transformer 结构本身：LayerNorm/RMSNorm 把特征归一化后，注意力机制会在某些"显著性特征"维度上产生集中放大效应。更麻烦的是——这些离群值不是噪声，而是模型真正依赖的重要信息，不能简单裁剪掉。

这就引出了 PTQ 领域的三条技术主线，本质都是在回答"如何驯服离群值"：

03GPTQ — 基于 Hessian 的近似二阶量化

arXiv:2210.17323 · Frantar, Ashkboos, Hoefler, Alistarh · ICLR 2023 · 误差补偿派的奠基之作

GPTQ 是把 4-bit 权重量化第一次真正推到 百亿~千亿参数规模 的方法——它能在单张 A100 上、几个小时内把 OPT-175B / BLOOM-176B 压到 3~4 bit 而困惑度几乎不掉。要真正理解它，必须先讲清它的家谱：GPTQ 不是凭空出现的，而是一条从剪枝走到量化、跨越 30 年的二阶方法演化的终点。

家谱：OBD → OBS → OBC → GPTQ

所有这些方法共享一个共同的出发点——如果要"动"一个已经训练好的网络的权重（不管是剪掉还是量化），怎么动才对损失的伤害最小？用二阶泰勒展开写出权重扰动 δw 引起的损失变化：

OBS 的核心结论是：当你把第 q 个权重量化（或剪掉）时，为了把损失增量压到最小，其余所有未处理权重都应该按 Hessian 逆的相关性做一次闭式修正。最优补偿量和它带来的损失增量分别为：

GPTQ 的三个关键加速

GPTQ 把层量化建模成"让该层输出的重构误差最小"（等价于用输入激活的二阶矩当 Hessian）：

朴素套用 OBQ 需要 O(d³) 且要逐行维护各自的 Hessian，175B 模型上要跑几周。GPTQ 用三招把它变得实用：

落到实现里，逐列量化 + 补偿的更新式就是 OBS 公式的向量化形式（对块内待量化列 i、补偿后续列 j）：

原论文 Figure（LAMBADA 精度 vs 模型规模）。横轴是参数量（对数），纵轴是 LAMBADA 零样本精度。红色=GPTQ、蓝色=RTN（朴素四舍五入）、黑色=FP16；方块为 4-bit、三角为 3-bit。关键观察：模型越大，GPTQ 越贴近 FP16 曲线；而 RTN 在 3-bit、大模型上直接崩塌（右下角蓝三角断崖）。这正是"大模型更好量化"这一经验规律的最早证据之一。来源：GPTQ 原论文 arXiv:2210.17323

原论文 Figure（OPT 家族 WikiText2 困惑度）。4-bit GPTQ 在 per-group 粒度下（g128 绿线、g1024 橙线）几乎与 FP16（黑线）重合，而无分组的纯 per-column 4bit（蓝线）在小模型上明显更差。这张图是"GPTQ/AWQ 默认用 group_size=128"这一工程惯例的实验依据。来源：GPTQ 原论文 arXiv:2210.17323

三个必须会调的工程旋钮

04AWQ — 激活感知的权重量化

arXiv:2306.00978 · Lin, Tang, Tang, Yang … Han · MLSys 2024 (最佳论文) · 缩放迁移派 · 2026 生产部署首选

如果说 GPTQ 是"接受量化误差、事后用 Hessian 补偿"，AWQ 走的是一条完全不同、而且更简单的路：在量化之前，先把最重要的那部分权重保护起来。它出自 MIT 韩松组，拿下了 MLSys 2024 最佳论文，也是 2026 年 vLLM / SGLang 生产部署里最常见的 INT4 方案。它的推理侧实现 TinyChat 让 4-bit LLM 能在 RTX 4090、笔记本甚至 Jetson Orin 上流畅跑起来。

出发点：反直觉的"看激活，不看权重"

AWQ 建立在两个层层递进的观察上：

论文用一张对比图把这件事讲透了：

原论文 Figure 2（AWQ 的核心思想图）。同一个 INT3 量化下三种做法的困惑度对比：(a) 朴素 RTN 四舍五入 → PPL 43.2（灾难）；(b) 按激活选出 1% 显著通道、保留 FP16（混合精度）→ PPL 13.0（几乎无损，但混合精度对硬件不友好）；(c) AWQ：不留 FP16，而是先把显著通道按激活幅度"放大"再统一量化 → 同样 PPL 13.0。结论一目了然：缩放能达到和保留 FP16 一样的效果，却保持了统一的低比特格式——这是 AWQ 全部巧思所在。来源：AWQ 原论文 arXiv:2306.00978

数学：为什么"放大再量化"能减小误差

朴素做法（图 b）是把 1% 重要通道留 FP16、其余 INT3。但混合精度让 kernel 要处理两种数据类型，硬件效率很低。AWQ 的关键一步是推导出：单纯放大一个权重通道，就能等比降低它的相对量化误差。

先看单个权重 w 在 round-to-nearest 下的量化误差。量化步长（scale）为 Δ 时，舍入误差 RoundErr∈[0,0.5]，期望约 0.25，与 w 无关：

把某个通道的权重乘 s、对应激活除以 s（保持乘积不变），该通道对输出的量化误差近似按 1/s 缩小：

怎么定每个通道的缩放因子

AWQ 不去解一个复杂的优化，而是用一个极简的幂律形式，把缩放直接挂到激活幅度上，只留一个标量超参 α 做网格搜索：

整个变换对线性层是数学恒等的，所以推理时不需要任何额外算子：

效果与硬件收益

原论文 Figure（TinyChat 推理加速）。AWQ 的 W4A16 内核在桌面 RTX 4090、边缘 Jetson Orin、笔记本 RTX 4070 上对比 HuggingFace FP16 基线：普遍带来 ~3× 吞吐提升，而且在 FP16 直接 OOM 的模型（如 Llama-2-13B / MPT-30B）上，AWQ 靠省显存让它能跑起来。这解释了为什么 AWQ 是"端侧 LLM"事实上的首选。来源：AWQ 原论文 arXiv:2306.00978

AWQ 的优势不只在语言建模。在多模态（VLM）上，同样 W4 量化下 AWQ 生成的图像描述明显比 RTN 更准确——因为它保住了对视觉 token 最敏感的那些通道。

05SmoothQuant — 把量化难度从激活迁移到权重

arXiv:2211.10438 · Xiao et al. · ICML 2023 · W8A8 的关键钥匙

GPTQ 和 AWQ 都只量化权重（激活保持 FP16，即 W4A16）。但要真正省下计算（而不只是显存），必须同时量化激活，用上 INT8 tensor core。SmoothQuant 专门解决"激活难量化"这个痛点。

它的思路极其优雅：既然激活里有离群值难量化、而权重很好量化，那就用一个逐通道的平滑因子 s，把激活的"量化难度"按比例转移一部分给权重——

平滑因子由激活和权重的幅度共同决定，用一个迁移强度超参 α 控制在两者间的分配：

06旋转量化 — QuIP# / QuaRot / SpinQuant

从"补偿/迁移离群值"到"从根本上消灭离群值"——当前 W4A4 端到端量化的 SOTA 路线

缩放迁移派只是把离群值"搬来搬去"，无法真正消除。旋转派提出了一个更彻底的思路：用一个正交变换（旋转）把权重/激活矩阵乘一下，让能量在所有维度上重新均匀分布，离群值就被"打散"消失了。

数学基础：计算不变性与不相干处理

核心依据是计算不变性（computational invariance）：对一个线性层，若在权重前乘一个正交矩阵 Q（Q^TQ = I），并在输入端乘 Q^T，则层的输出完全不变：

为什么旋转能消除离群值？关键概念是不相干性（incoherence）。QuIP 定义：一个矩阵是 μ-不相干的，若其元素的最大幅度被"能量均摊"后的界限约束：

实践中用 随机化 Hadamard 变换（RHT），因为 Hadamard 矩阵 H 只含 ±1、可以用 O(n log n) 的快速变换（类似 FFT）实现，几乎零额外算力：

图：旋转前 vs 旋转后的激活分布（QuaRot 原论文 Fig. 1）。横轴是隐层维度索引（0–4096），纵轴是激活值。左图"Before QuaRot"：蓝色 Min/Max 包络里布满向上/向下的尖刺（离群值），某些通道幅度远超其余，正是这些尖刺撑爆了量化范围、让朴素 W4A4 崩溃。右图"With QuaRot"：经过 Hadamard 旋转后，Min/Max、1/99 分位、25/75 分位三条包络全部被压平成一条平滑的窄带——离群能量被均摊到所有维度，激活重新变得"处处温和"，这才让 4-bit 量化第一次可用。这张图是"旋转消除离群值"最直观的证据。

图源：QuaRot, arXiv:2404.00456, Fig. 1（Ashkboos et al., NeurIPS 2024）

三个代表方法的分工

QuaRot 的四类旋转

QuaRot 在网络的不同位置插入四种 Hadamard 旋转（R1–R4），分别处理残差流、注意力和 FFN。得益于 RMSNorm 的计算不变性，R1/R2 可以被"吸收"进相邻权重里，推理时零额外开销；R3/R4 则是在线 Hadamard 变换，成本极低。

07FP8 与 NVFP4 — 硬件原生的低精度浮点

当整数量化撞上离群值天花板，浮点格式凭借"动态范围"另辟蹊径

INT4 是均匀量化——所有量化格子等宽。但神经网络的数值分布是钟形的：绝大多数值靠近 0，少数值很大。浮点格式（指数+尾数）天然是"非均匀"的——靠近 0 的地方格子密、远离 0 的地方格子疏，恰好契合这种分布。这就是低比特浮点的先天优势。

FP8：H100 时代的甜点

FP8 有两种排布，用指数位(E)和尾数位(M)的分配权衡动态范围与精度：

NVFP4：Blackwell 原生的 4-bit 浮点

NVFP4 是 NVIDIA Blackwell（B200/GB200）平台主推的 4-bit 浮点格式，采用 E2M1（1 符号 + 2 指数 + 1 尾数）编码，配块级微缩放（microscaling）：每 16 个元素一个块，共享一个 FP8(E4M3) 的块缩放因子。反量化时：

08KV-Cache 量化 — 长上下文的生命线

当上下文冲向百万 token，KV-Cache 而非权重，成了显存的头号杀手

自回归推理时，模型把每个历史 token 的 Key/Value 缓存下来避免重算。这个 KV-Cache 的大小随上下文长度线性增长：

09BitNet b1.58 — 三值权重的原生低比特革命

arXiv:2402.17764 · Ma et al. (Microsoft Research + 中科院) · 2024.02 · 训练侧路线的旗帜

前面所有 PTQ 方法都是"先训练一个 FP16 模型，再想办法压缩"。BitNet 提出一个截然不同的哲学：为什么不一开始就用低比特训练？ 如果模型从头就知道自己要在低比特下工作，它会主动学出适合低比特的权重分布。

图：BitNet b1.58 相对传统 Transformer 的 Pareto 改进（原论文 Fig. 1）。右侧传统 LLM 用 16-bit 浮点权重（矩阵里全是 0.2961、−0.0495 这样的小数），落在高"成本"位置；左侧 BitNet 用三值权重 {−1, 0, +1}，在持平性能的同时把成本大幅左移——这正是一次帕累托改进（同等性能、更低成本）。它一句话点明了整篇论文的主张：低比特不必以掉点为代价。

图源：BitNet b1.58, arXiv:2402.17764, Fig. 1（Ma et al., 2024）

1.58 比特是什么意思？

BitNet b1.58 把每个权重限制成三个值之一：{−1, 0, +1}。三个状态的信息量恰好是：

核心机制：absmean 量化 + 无乘法矩阵运算

训练时，权重矩阵 W 先按其绝对值均值 γ 归一化，再四舍五入到 {−1,0,+1}：

激活则量化到 8-bit（用 absmax per-token 缩放）。最革命性的后果是——当权重只有 {−1,0,+1} 时，矩阵乘法里的乘法全部消失了：

图：从"乘加"到"纯加法"的计算范式转变（原论文 Fig. 2）。上半部分是 FP16 的标准做法：权重矩阵 W 是浮点小数，计算 Y=WX 需要逐元素乘法再累加（Multiplication-then-Addition），跑在 GPU 上。下半部分是 1.58-bit：权重只有 {+1,−1,0}，于是 Y 的每个分量退化成 x₀ − x₁ − x₂ + x₃ 这样的纯加减（Addition, no Multiplication）——不再需要昂贵的乘法器，为专用低功耗硬件（New Hardware）打开了大门。这张图直观解释了为什么三值权重能带来数量级的能耗下降。

图源：BitNet b1.58, arXiv:2402.17764, Fig. 2（Ma et al., 2024）

训练时用直通估计器（Straight-Through Estimator, STE）解决量化不可导的问题：前向用量化值，反向假装量化是恒等函数直接传梯度：

10BitNet 生态 — a4.8 / 2B4T / Spectra

11ParetoQ — 到底该用几比特？

arXiv:2502.02631 · Meta · NeurIPS 2025 · 极低比特量化的统一 scaling law

BitNet 证明了 1.58-bit 可行，但业界一直有争论：4-bit 好还是 1.58-bit 好？ ParetoQ 是第一个把 1 / 1.58 / 2 / 3 / 4-bit 放在同一个训练框架下严格对比的工作，终于给出可信答案。

图：精度 vs 有效量化模型体积的帕累托前沿（ParetoQ 原论文）。横轴是有效量化模型体积（相同显存预算下的等效大小），纵轴是精度。四条曲线分别是 2/4/8/16-bit。关键观察：在给定的体积预算下，2-bit 曲线（青色）几乎始终位于最上方——它用最小的体积最快爬到高精度并率先饱和；而 16-bit（粉色）要拖到体积 3000 才追平。换言之，"更多参数 + 更低比特"比"更少参数 + 更高比特"更划算，2-bit 占据了帕累托最优。这就是 ParetoQ 对"到底该用几比特"给出的量化答案。

图源：ParetoQ, arXiv:2502.02631, Fig. 1（Liu et al., Meta, NeurIPS 2025）

ParetoQ 的意义在于把"低比特训练"从 BitNet 的单点证明，升级为一条可指导工程的 Pareto 前沿：在"模型质量-部署体积"这个二维平面上，2-bit 和 1.58-bit 占据了帕累托最优的位置。考虑硬件约束，2-bit 量化在显存压缩和加速上潜力最大。这为 BitNet 类原生低比特路线提供了强有力的理论背书。

12ICML 2026 量化图谱 — 前沿在往哪走

从 ICLR/ICML 2026 收录的近百篇量化论文可以清晰看到六个研究热点，几乎覆盖了本文讲的所有主线的最新延伸：

13工程选型决策树 — 2026 实战建议

14全景综述 — 一张表看懂所有方法

读到这里，别把这些方法记成一串孤立的名字。它们其实是同一个故事的不同章节。

整部量化史，可以用一条主线串起来：所有的技术进步，都是在回答"如何在更低的比特下，安放好那些不肯乖乖变小的数值"。权重好办（分布规整），难的是激活里的离群值——这是贯穿全文的那根线。顺着这根线看，六个流派的关系就清晰了：

横向总表：8 大方法一屏对比