🖼️ Multimodalité : Impact Matériel (VRAM & KV Cache)
Pourquoi la multimodalité change le calcul matériel
Un LLM pur traite du texte : chaque token est un vecteur numérique issu d’un vocabulaire. La complexité mémoire est prévisible et bien documentée.
Un VLM (Vision Language Model) ajoute un composant amont : un encodeur visuel qui transforme les pixels d’une image en une séquence de vecteurs que le LLM peut “lire”. Ce chemin supplémentaire a des conséquences directes sur la VRAM, le KV Cache et la latence.
L’encodeur visuel : anatomie et empreinte VRAM
Comment ça fonctionne
flowchart TD
A["🖼️ Image (pixels)"] --> B["Encodeur visuel\n(ex. CLIP-ViT-L/14, SigLIP)\ndécoupe en patches 14×14 px\nencode chaque patch en vecteur"]
B --> C["Séquence de visual tokens\n(256 à quelques milliers de tokens selon le modèle et la résolution)"]
C --> D["Projecteur (MLP de connexion)"]
D --> E["LLM backbone\n(Qwen, Mistral, LLaMA…)"]
L’encodeur et le projecteur sont des poids supplémentaires chargés en plus du LLM backbone.
Empreinte VRAM approximative par famille
| Modèle VLM | LLM backbone | Encodeur visuel | VRAM totale (FP16) | Visual tokens / image |
|---|---|---|---|---|
| LLaVA 1.6 (Mistral 7B) | 7B | CLIP-ViT-L/14, 304M (~0,6 Go) | ~15 Go | 576 (vue de base 336×336) à ~2 880 (AnyRes : 4 tuiles + vue globale) |
| Qwen2-VL 7B | 7B | ViT 675M (~1,35 Go) | ~16 Go | 4–16 384 (dynamique ; ~1 369 pour une image 1024×1024) |
| Qwen2-VL 72B | 72B | ViT 675M (~1,35 Go) | ~144 Go | 4–16 384 (dynamique ; ~1 369 pour une image 1024×1024) |
| Pixtral 12B (Mistral) | 12B | Vision encoder 400M (~0,8 Go) | ~26 Go | jusqu’à 1 024 |
| Gemma 3 27B Vision | 27B | SigLIP 400M (~0,8 Go) | ~54 Go | 256 par image 896×896 (+ 256 par recadrage avec Pan & Scan) |
Sources : LLaVA 1 · Qwen2-VL 2
L’impact sur le KV Cache
Le KV Cache stocke les états intermédiaires de chaque token du contexte. Les visual tokens s’y comportent exactement comme des tokens texte : ils occupent la même quantité d’espace par token.
Formule de référence
Pour un modèle à précision FP16 :
KV Cache par token = 2 (K+V) × nombre_de_couches × têtes_KV × dimension_tête × 2 octetsPour un LLM 7B typique en GQA (Mistral 7B, backbone de LLaVA 1.6 : 32 couches, 8 têtes KV, 128 dim de tête) :
≈ 2 × 32 × 8 × 128 × 2 = 131 072 octets ≈ 128 Kio (~0,13 Mo) par token — 512 Kio en MHA complet (32 têtes KV, ex. Llama 2 7B)Comparaison texte vs image
| Input | Tokens typiques | KV Cache estimé (7B GQA, ~0,13 Mo/token) |
|---|---|---|
| Document texte 500 mots | ~650 tokens | ~85 Mo |
| Image 336×336 (LLaVA 1.5, ou vue de base de LLaVA 1.6) | ~576 tokens | ~75 Mo |
| Image 1024×1024 (LLaVA 1.6 AnyRes : 4 tuiles + vue globale) | ~2 880 tokens | ~377 Mo |
| Image 1024×1024 (Qwen2-VL dynamique) | ~1 369 tokens | ~179 Mo (~79 Mo sur le backbone Qwen2-VL 7B : 28 couches, 4 têtes KV) |
| PDF 10 pages converti en images | ~5 000–14 000 tokens (≈ 500 à 1 400 par page selon le modèle et la résolution) | ~0,65–1,8 Go |
Source : vLLM metrics 3
Audio : Whisper comme pré-traitement
La transcription audio (réunions, dictées, appels clients) est souvent mentionnée avec la vision, mais son architecture est fondamentalement différente.
Whisper n’est pas un VLM. C’est un modèle sequence-to-sequence indépendant :
flowchart TD
A["🎵 Audio (WAV/MP3)"] --> B["Whisper\n(modèle distinct — 39 Mo à 1,5 Go)\ntranscrit en texte"]
B --> C["Texte (tokens normaux)"]
C --> D["LLM backbone\n(si analyse du transcript souhaitée)"]
Empreinte VRAM Whisper
| Modèle Whisper | Paramètres | VRAM |
|---|---|---|
| tiny | 39 M | ~80 Mo |
| base | 74 M | ~145 Mo |
| small | 244 M | ~480 Mo |
| medium | 769 M | ~1,5 Go |
| large-v3 | 1,5 B | ~3 Go |
Source : OpenAI Whisper 4
Temps réel : une alternative à Whisper. Pour sous-titrer une réunion en direct, Mistral publie depuis février 2026 Voxtral Mini 4B Realtime (Apache 2.0) : un modèle de transcription nativement en streaming, avec un délai réglable de 80 ms à 2,4 s, 13 langues dont le français (WER de 6,4 % en français à 480 ms de délai selon l’éditeur), servi par vLLM5. Contrairement à Whisper, il ne se pose pas sur CPU : l’éditeur indique un GPU d’au moins 16 Go (poids BF16, ~4,4B paramètres), à prévoir en plus du LLM. Whisper sur CPU reste le bon choix pour le batch ; Voxtral se justifie quand la latence compte. Mistral en décline des variantes par langue (dialectes arabes en octobre 2026).
Conséquence architecturale : Whisper peut coexister avec un VLM sur la même machine sans compétition VRAM significative, à condition de ne pas les exécuter simultanément sur GPU. En pipeline asynchrone (transcription → résumé LLM), une séquence est parfaitement viable sur un Blueprint B.
Carte des blueprints
| Blueprint | VLM faisable ? | Modèle recommandé | Contrainte principale |
|---|---|---|---|
| A — Labo Dev (RTX 4090, 24 Go) | ✅ Oui | LLaVA 1.6 7B, Qwen2-VL 7B | Images HD limitées en batch simultané |
| A — Labo Dev (mémoire unifiée 64 Go) | ✅ Oui | Qwen2-VL 7B ou Pixtral 12B | Bande passante mémoire unifée = facteur limitant |
| B — Appliance PME (128 Go mémoire unifiée) | ✅ Oui | Qwen2-VL 7B ou 72B Q4 | 70B en vision = lent, mais fonctionnel |
| C — Cluster Bureau (4× 64 Go unifiés) | ✅ Oui | Pixtral 12B, Qwen2-VL 72B distribué | Exo requis pour distribuer un 72B vision |
| D — Datacenter (8× GPU 80 Go) | ✅ Oui | Qwen2-VL 72B, Pixtral Large | Cas d’usage production haute concurrence |
Points de vigilance en production
-
Context length surprises : une requête “simple” (image + question courte) peut consommer jusqu’à ~3 000 tokens (LLaVA 1.6 en AnyRes), là où la question texte équivalente n’en utilisait que 50. Adapter
max_model_lendans vLLM en conséquence. -
Prefill asymétrique : le prefill d’une image (passage de tous les visual tokens dans le transformeur) est computationnellement plus dense qu’un prefill texte équivalent en tokens. La latence du premier token (TTFT) est plus élevée.
-
Résolution et découpe : les VLMs modernes (LLaVA 1.6 HD, Qwen2-VL) adaptent dynamiquement le nombre de visual tokens à la résolution de l’image. Envoyer des images non redimensionnées peut multiplier le coût par 4–8×.
-
Quantification partielle : les encodeurs visuels supportent mal la quantification agressive (Q4 ou Q2). Si vous quantifiez le backbone pour économiser de la VRAM, gardez l’encodeur visuel en FP16 ou Q8.
Voir aussi
- KV Cache — mécanique détaillée du cache d’attention
- VRAM — empreinte mémoire des modèles
- 🗜️ Quantification 4-bit & 8-bit — réduire l’empreinte VRAM
- 🧠 KV Cache et fenêtre de contexte
- 💾 Mémoire unifiée vs RAM vs VRAM
- 🏢 Scénario B — Appliance PME
Sources et Références
Footnotes
-
Liu et al., Visual Instruction Tuning (LLaVA) (architecture : encodeur CLIP-ViT-L/14 + projecteur MLP + LLM backbone ; le poids de l’encodeur VRAM est calculé à partir de la taille des paramètres publiés). https://arxiv.org/abs/2304.08485 ↩
-
Alibaba Cloud, Qwen2-VL model documentation (tokens visuels dynamiques selon résolution : 4 à 16 384 par image par défaut, côtés arrondis au multiple de 28 le plus proche, consulté le 2026-11-19) ; P. Wang et al., Qwen2-VL (arXiv:2409.12191 : encodeur ViT d’environ 675 M de paramètres). https://huggingface.co/Qwen/Qwen2-VL-7B-Instruct ↩
-
vLLM Project, Production Metrics — KV cache usage (comportement du KV Cache en batch continu). https://docs.vllm.ai/en/stable/usage/metrics/ ↩
-
OpenAI, Whisper model card (tailles tiny à large-v3, paramètres et empreinte mémoire indicative). https://github.com/openai/whisper ↩
-
Mistral AI, Voxtral Mini 4B Realtime 2602 (transcription temps réel en streaming, délai 80 ms – 2,4 s, 480 ms recommandé ; 13 langues ; BF16, un GPU ≥ 16 Go ; vLLM ; Apache 2.0), Hugging Face, février 2026 ; Voxtral Mini 4B Realtime Arabic, 2026-10-08. https://huggingface.co/mistralai/Voxtral-Mini-4B-Realtime-2602 · https://huggingface.co/mistralai/Voxtral-Mini-4B-Realtime-Arabic ↩