01 — INTERACTIVE
一个数字的内部结构
浮点数把比特分成三段:符号决定正负,指数决定数值范围(能表示多大多小),尾数决定精度(能区分多细)。总位数固定时,指数和尾数此消彼长。选一个格式,悬停每个比特看它的角色。
符号位 sign
指数位 exponent · 管范围
尾数位 mantissa · 管精度
02 — REFERENCE
精度与量化格式总览
浮点(FP)有指数位,范围大;整数(INT)间隔均匀,需配缩放因子。位数越低,体积越小、越快,但质量损失越大。条形长度示意「相对体积」。
| 格式 | 类型 | 位数 | 相对体积 | 定位 | 典型场景 |
|---|
03 — EXPLORE
大模型概念图鉴
精度只是其中一块。下面这些是你在本地部署、RAG、推理优化里反复遇到的核心概念。按类别筛选,点卡片展开。
04 — IN PRACTICE
落到你的部署栈
两套量化体系别混:GGUF(Q4_K_M / Q8_0…)属于 llama.cpp / Ollama;GPTQ / AWQ / FP8 / INT8属于 vLLM / TensorRT 这类 GPU 推理栈。
Qwen3 在 Blackwell 上的甜点路线
权重通常以 BF16 发布(范围与 FP32 同宽,训练数值稳定)。推理时若显存吃紧,可降到 FP8 或整数量化。RTX Pro 6000 Blackwell 对 FP8 有原生硬件加速,所以「BF16 精度训练 → FP8 推理」往往是这代卡上质量与速度兼顾的最优解。
BF16 权重
→
FP8 推理
/
GPTQ-Int4
/
AWQ-Int4