Quantification
📝 Définition courte
Technique qui réduit la précision numérique des poids d’un modèle (ex : FP16 → INT8 → Q4) pour diminuer l’empreinte VRAM et, dans certains cas, accélérer l’inférence.
📖 Définition détaillée
Un modèle LLM stocke ses paramètres en virgule flottante. La précision native d’entraînement est BF16 ou FP16 (2 octets par paramètre). La quantification compresse ces valeurs vers des formats moins précis :
| Format | Octets/paramètre | Empreinte 70B | Perte qualité |
|---|---|---|---|
| BF16 / FP16 | 2,0 | ~140 Go | Référence |
| INT8 / Q8 | 1,0 | ~70 Go | Très faible |
| Q4_K_M | ~0,5 | ~40 Go | Faible à modérée |
| Q2_K | ~0,3–0,4 | ~25 Go | Significative1 |
Trois grandes familles de méthodes :
- GGUF / llama.cpp : format portable pour Ollama et les postes de travail. Inclut des variantes Q2 à Q8 ; les variantes “K” (K-quants) découpent les poids en super-blocs de 256 valeurs avec plusieurs échelles et gardent les tenseurs sensibles en précision plus haute, ce qui préserve mieux la qualité à taille égale2.
- AWQ / GPTQ : quantifications 4-bit pour GPU (AWQ protège ~1 % de poids saillants selon les activations ; GPTQ compense l’arrondi par la Hessienne), optimisées pour vLLM/SGLang avec des noyaux dédiés. Qualité comparable aux K-quants à bits égaux, débit GPU supérieur3.
- FP8 / FP4 : précisions flottantes basse résolution. FP8 est natif sur Ada Lovelace (L40S, RTX 6000 Ada, RTX 40), Hopper (H100, H200) et Blackwell ; FP4 (NVFP4, MXFP4) est natif sur Blackwell uniquement (B200, RTX 50, RTX PRO 6000, DGX Spark). Depuis 2026, des éditeurs livrent directement des poids FP4 (gpt-oss et Kimi K3 en MXFP4 ; Nemotron 3.5 Lightning en NVFP4, ≈ 22 Go), y compris pour des GPU de station4.
Quatrième tendance en 2026 : la quantification à l’entraînement (QAT). Kimi K3 est entraîné en MXFP4 dès la phase SFT, et NVIDIA publie Nemotron 3.5 Lightning en NVFP4 comme « chemin recommandé pour le déploiement », les poids BF16 étant réservés au post-entraînement. Le checkpoint 4-bit de l’éditeur devient alors la version canonique, et requantifier soi-même n’apporte rien4.
💡 Pourquoi c’est important en IA on-premise
La quantification est le levier numéro un pour faire tenir un grand modèle dans votre matériel. Un modèle 70B inaccessible en BF16 (140 Go) devient exploitable en Q4_K_M (~40 Go) sur un APU avec 128 Go de mémoire unifiée.
⚠️ Pièges fréquents
- Confondre l’empreinte des poids (fixe) et celle du KV Cache (dynamique, dépend du contexte). Un modèle Q4 peut quand même provoquer un OOM si le contexte est long.
- Croire que Q4 est toujours suffisant : sur des tâches critiques (code editing, extraction médicale), Q4 peut dégrader la fiabilité de façon mesurable. Testez avec votre golden dataset.
- Comparer des scores de benchmarks entre un modèle BF16 et un modèle Q4 comme s’ils étaient identiques.
📚 Pour comprendre en profondeur
- 🗜️ La Quantification 4-bit & 8-bit — mécanisme mathématique, formule, arbitrage perplexité/VRAM
🔗 Voir aussi
- Quantification Q4_K_M — le format pratique le plus courant, ses usages et limites
- VRAM
- GGUF
Footnotes
-
unsloth, DeepSeek-V3-GGUF (Q2_K_XS ≈ 221 Go pour 671 B, soit ≈ 2,6 bits/poids ; Q4_K_M ≈ 404 Go), janvier 2025 ; J. Wang et al., arXiv:2601.14277 (bits effectifs des K-quants), janvier 2026. https://huggingface.co/unsloth/DeepSeek-V3-GGUF · https://arxiv.org/abs/2601.14277 ↩
-
J. Wang et al., Which Quantization Should I Use? A Unified Evaluation of llama.cpp Quantization on Llama-3.1-8B-Instruct (arXiv:2601.14277 ; description des K-quants par super-blocs), janvier 2026. https://arxiv.org/abs/2601.14277 ↩
-
J. Lin et al., AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration (arXiv:2306.00978), 2023 ; E. Frantar et al., GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers (arXiv:2210.17323), 2022. https://arxiv.org/abs/2306.00978 · https://arxiv.org/abs/2210.17323 ↩
-
OpenAI, gpt-oss-120b (« post-trained with MXFP4 quantization of the MoE weights », 20b dans 16 Go, Apache 2.0), août 2025. https://huggingface.co/openai/gpt-oss-120b ; Moonshot AI, Kimi K3 (« MXFP4 weights / MXFP8 activations (quantization-aware training) » dès le SFT), juillet 2026. https://huggingface.co/moonshotai/Kimi-K3 ; NVIDIA, NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 (≈ 21,6 Go de safetensors ; « the NVFP4 release is the recommended path » pour le déploiement), août 2026. https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 ↩ ↩2