Quantification Q4
📝 Définition courte
Quantification où les poids sont compressés sur environ 4 bits par paramètre, divisant l’empreinte mémoire par ~4 par rapport au BF16 natif. Le format Q4_K_M est la variante la plus utilisée dans l’écosystème Ollama / llama.cpp.
📖 Définition détaillée
Q4_K_M signifie :
- Q4 : 4 bits par paramètre (~0,5 octet effectif avec les métadonnées de blocs)
- K : famille des « K-quants » de llama.cpp. Les poids sont quantifiés par blocs de 32 valeurs, regroupés en super-blocs de 256, avec des échelles elles-mêmes quantifiées. Il ne s’agit pas d’un clustering K-means.
- M : variante « medium » du mélange de tenseurs. Q4_K_M garde en Q6_K une partie des tenseurs les plus sensibles (la moitié des
attention.wvetfeed_forward.w2) et met le reste en Q4_K. Les suffixes S, M et L désignent ce dosage, pas une taille de bloc. C’est le compromis qualité/vitesse recommandé pour la plupart des usages.
Empreintes VRAM typiques en Q4_K_M :
| Modèle | Q4_K_M | BF16 (référence) | Gain |
|---|---|---|---|
| 7B / 8B | ~5 Go | ~14 Go | ×2,8 |
| 14B | ~9 Go | ~28 Go | ×3,1 |
| 32B | ~20 Go | ~64 Go | ×3,2 |
| 70B | ~40 Go | ~140 Go | ×3,5 |
💡 Pourquoi c’est important en IA on-premise
Q4_K_M est le format qui permet à un utilisateur avec une machine à 3 500 € (16–24 Go VRAM) de faire tourner un modèle 70B avec offloading, ou à un APU 128 Go de charger confortablement un 70B avec de la marge pour le KV Cache.
C’est aussi le format de téléchargement par défaut dans Ollama : ollama pull llama3.1:70b télécharge automatiquement un Q4_K_M.
⚠️ Pièges fréquents
- Q4 n’est pas adapté à toutes les tâches : sur des usages sensibles (édition de code précise, extraction médicale ou juridique, agents custodiens), une quantification trop agressive peut rater des nuances ou produire des outputs partiellement corrects. Préférer Q6_K ou Q8 si la VRAM le permet.
- Ne pas confondre avec Q4_0 (plus simple, qualité inférieure à Q4_K_M) ou Q4_K_S (plus léger, légèrement moins précis que K_M).
- L’empreinte indiquée est celle des poids seuls : le KV Cache s’ajoute en fonction de la longueur du contexte.
📚 Pour comprendre en profondeur
- 🗜️ La Quantification 4-bit & 8-bit — mécanisme mathématique complet
- 🛠️ Scénario A — exemple concret d’usage Q4 avec offloading
🔗 Voir aussi
- Quantification — vue d’ensemble (Q8, AWQ, FP8)
- GGUF — format de fichier qui embarque la quantification
- Offloading
Réduction de précision numérique des poids d'un LLM pour diminuer l'empreinte mémoire et accélérer l'inférence.Technique qui place une partie du modèle en RAM ou sur SSD quand la VRAM est insuffisante, au prix d'un débit réduit.Mémoire qui conserve les clés et valeurs d'attention déjà calculées pour éviter de les recalculer, mais dont la taille croît avec le contexte.Format de fichier portable pour l'inférence locale avec llama.cpp, optimisé pour les quantifications K-quant.