Aller au contenu

Quantification Q4

📝 Définition courte

Quantification où les poids sont compressés sur environ 4 bits par paramètre, divisant l’empreinte mémoire par ~4 par rapport au BF16 natif. Le format Q4_K_M est la variante la plus utilisée dans l’écosystème Ollama / llama.cpp.

📖 Définition détaillée

Q4_K_M signifie :

  • Q4 : 4 bits par paramètre (~0,5 octet effectif avec les métadonnées de blocs)
  • K : famille des « K-quants » de llama.cpp. Les poids sont quantifiés par blocs de 32 valeurs, regroupés en super-blocs de 256, avec des échelles elles-mêmes quantifiées. Il ne s’agit pas d’un clustering K-means.
  • M : variante « medium » du mélange de tenseurs. Q4_K_M garde en Q6_K une partie des tenseurs les plus sensibles (la moitié des attention.wv et feed_forward.w2) et met le reste en Q4_K. Les suffixes S, M et L désignent ce dosage, pas une taille de bloc. C’est le compromis qualité/vitesse recommandé pour la plupart des usages.

Empreintes VRAM typiques en Q4_K_M :

ModèleQ4_K_MBF16 (référence)Gain
7B / 8B~5 Go~14 Go×2,8
14B~9 Go~28 Go×3,1
32B~20 Go~64 Go×3,2
70B~40 Go~140 Go×3,5

💡 Pourquoi c’est important en IA on-premise

Q4_K_M est le format qui permet à un utilisateur avec une machine à 3 500 € (16–24 Go VRAM) de faire tourner un modèle 70B avec offloading, ou à un APU 128 Go de charger confortablement un 70B avec de la marge pour le KV Cache.

C’est aussi le format de téléchargement par défaut dans Ollama : ollama pull llama3.1:70b télécharge automatiquement un Q4_K_M.

⚠️ Pièges fréquents

  • Q4 n’est pas adapté à toutes les tâches : sur des usages sensibles (édition de code précise, extraction médicale ou juridique, agents custodiens), une quantification trop agressive peut rater des nuances ou produire des outputs partiellement corrects. Préférer Q6_K ou Q8 si la VRAM le permet.
  • Ne pas confondre avec Q4_0 (plus simple, qualité inférieure à Q4_K_M) ou Q4_K_S (plus léger, légèrement moins précis que K_M).
  • L’empreinte indiquée est celle des poids seuls : le KV Cache s’ajoute en fonction de la longueur du contexte.

📚 Pour comprendre en profondeur

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.