Aller au contenu

🖼️ Multimodalité : Impact Matériel (VRAM & KV Cache)


Pourquoi la multimodalité change le calcul matériel

Un LLM pur traite du texte : chaque token est un vecteur numérique issu d’un vocabulaire. La complexité mémoire est prévisible et bien documentée.

Un VLM (Vision Language Model) ajoute un composant amont : un encodeur visuel qui transforme les pixels d’une image en une séquence de vecteurs que le LLM peut “lire”. Ce chemin supplémentaire a des conséquences directes sur la VRAM, le KV Cache et la latence.


L’encodeur visuel : anatomie et empreinte VRAM

Comment ça fonctionne

flowchart TD
    A["🖼️ Image (pixels)"] --> B["Encodeur visuel\n(ex. CLIP-ViT-L/14, SigLIP)\ndécoupe en patches 14×14 px\nencode chaque patch en vecteur"]
    B --> C["Séquence de visual tokens\n(256 à quelques milliers de tokens selon le modèle et la résolution)"]
    C --> D["Projecteur (MLP de connexion)"]
    D --> E["LLM backbone\n(Qwen, Mistral, LLaMA…)"]

L’encodeur et le projecteur sont des poids supplémentaires chargés en plus du LLM backbone.

Empreinte VRAM approximative par famille

Modèle VLMLLM backboneEncodeur visuelVRAM totale (FP16)Visual tokens / image
LLaVA 1.6 (Mistral 7B)7BCLIP-ViT-L/14, 304M (~0,6 Go)~15 Go576 (vue de base 336×336) à ~2 880 (AnyRes : 4 tuiles + vue globale)
Qwen2-VL 7B7BViT 675M (~1,35 Go)~16 Go4–16 384 (dynamique ; ~1 369 pour une image 1024×1024)
Qwen2-VL 72B72BViT 675M (~1,35 Go)~144 Go4–16 384 (dynamique ; ~1 369 pour une image 1024×1024)
Pixtral 12B (Mistral)12BVision encoder 400M (~0,8 Go)~26 Gojusqu’à 1 024
Gemma 3 27B Vision27BSigLIP 400M (~0,8 Go)~54 Go256 par image 896×896 (+ 256 par recadrage avec Pan & Scan)

Sources : LLaVA 1 · Qwen2-VL 2


L’impact sur le KV Cache

Le KV Cache stocke les états intermédiaires de chaque token du contexte. Les visual tokens s’y comportent exactement comme des tokens texte : ils occupent la même quantité d’espace par token.

Formule de référence

Pour un modèle à précision FP16 :

KV Cache par token = 2 (K+V) × nombre_de_couches × têtes_KV × dimension_tête × 2 octets

Pour un LLM 7B typique en GQA (Mistral 7B, backbone de LLaVA 1.6 : 32 couches, 8 têtes KV, 128 dim de tête) :

≈ 2 × 32 × 8 × 128 × 2 = 131 072 octets ≈ 128 Kio (~0,13 Mo) par token — 512 Kio en MHA complet (32 têtes KV, ex. Llama 2 7B)

Comparaison texte vs image

InputTokens typiquesKV Cache estimé (7B GQA, ~0,13 Mo/token)
Document texte 500 mots~650 tokens~85 Mo
Image 336×336 (LLaVA 1.5, ou vue de base de LLaVA 1.6)~576 tokens~75 Mo
Image 1024×1024 (LLaVA 1.6 AnyRes : 4 tuiles + vue globale)~2 880 tokens~377 Mo
Image 1024×1024 (Qwen2-VL dynamique)~1 369 tokens~179 Mo (~79 Mo sur le backbone Qwen2-VL 7B : 28 couches, 4 têtes KV)
PDF 10 pages converti en images~5 000–14 000 tokens (≈ 500 à 1 400 par page selon le modèle et la résolution)~0,65–1,8 Go

Source : vLLM metrics 3


Audio : Whisper comme pré-traitement

La transcription audio (réunions, dictées, appels clients) est souvent mentionnée avec la vision, mais son architecture est fondamentalement différente.

Whisper n’est pas un VLM. C’est un modèle sequence-to-sequence indépendant :

flowchart TD
    A["🎵 Audio (WAV/MP3)"] --> B["Whisper\n(modèle distinct — 39 Mo à 1,5 Go)\ntranscrit en texte"]
    B --> C["Texte (tokens normaux)"]
    C --> D["LLM backbone\n(si analyse du transcript souhaitée)"]

Empreinte VRAM Whisper

Modèle WhisperParamètresVRAM
tiny39 M~80 Mo
base74 M~145 Mo
small244 M~480 Mo
medium769 M~1,5 Go
large-v31,5 B~3 Go

Source : OpenAI Whisper 4

Temps réel : une alternative à Whisper. Pour sous-titrer une réunion en direct, Mistral publie depuis février 2026 Voxtral Mini 4B Realtime (Apache 2.0) : un modèle de transcription nativement en streaming, avec un délai réglable de 80 ms à 2,4 s, 13 langues dont le français (WER de 6,4 % en français à 480 ms de délai selon l’éditeur), servi par vLLM5. Contrairement à Whisper, il ne se pose pas sur CPU : l’éditeur indique un GPU d’au moins 16 Go (poids BF16, ~4,4B paramètres), à prévoir en plus du LLM. Whisper sur CPU reste le bon choix pour le batch ; Voxtral se justifie quand la latence compte. Mistral en décline des variantes par langue (dialectes arabes en octobre 2026).

Conséquence architecturale : Whisper peut coexister avec un VLM sur la même machine sans compétition VRAM significative, à condition de ne pas les exécuter simultanément sur GPU. En pipeline asynchrone (transcription → résumé LLM), une séquence est parfaitement viable sur un Blueprint B.


Carte des blueprints

BlueprintVLM faisable ?Modèle recommandéContrainte principale
A — Labo Dev (RTX 4090, 24 Go)✅ OuiLLaVA 1.6 7B, Qwen2-VL 7BImages HD limitées en batch simultané
A — Labo Dev (mémoire unifiée 64 Go)✅ OuiQwen2-VL 7B ou Pixtral 12BBande passante mémoire unifée = facteur limitant
B — Appliance PME (128 Go mémoire unifiée)✅ OuiQwen2-VL 7B ou 72B Q470B en vision = lent, mais fonctionnel
C — Cluster Bureau (4× 64 Go unifiés)✅ OuiPixtral 12B, Qwen2-VL 72B distribuéExo requis pour distribuer un 72B vision
D — Datacenter (8× GPU 80 Go)✅ OuiQwen2-VL 72B, Pixtral LargeCas d’usage production haute concurrence

Points de vigilance en production

  1. Context length surprises : une requête “simple” (image + question courte) peut consommer jusqu’à ~3 000 tokens (LLaVA 1.6 en AnyRes), là où la question texte équivalente n’en utilisait que 50. Adapter max_model_len dans vLLM en conséquence.

  2. Prefill asymétrique : le prefill d’une image (passage de tous les visual tokens dans le transformeur) est computationnellement plus dense qu’un prefill texte équivalent en tokens. La latence du premier token (TTFT) est plus élevée.

  3. Résolution et découpe : les VLMs modernes (LLaVA 1.6 HD, Qwen2-VL) adaptent dynamiquement le nombre de visual tokens à la résolution de l’image. Envoyer des images non redimensionnées peut multiplier le coût par 4–8×.

  4. Quantification partielle : les encodeurs visuels supportent mal la quantification agressive (Q4 ou Q2). Si vous quantifiez le backbone pour économiser de la VRAM, gardez l’encodeur visuel en FP16 ou Q8.


Voir aussi


Sources et Références

Footnotes

  1. Liu et al., Visual Instruction Tuning (LLaVA) (architecture : encodeur CLIP-ViT-L/14 + projecteur MLP + LLM backbone ; le poids de l’encodeur VRAM est calculé à partir de la taille des paramètres publiés). https://arxiv.org/abs/2304.08485 ↩

  2. Alibaba Cloud, Qwen2-VL model documentation (tokens visuels dynamiques selon résolution : 4 à 16 384 par image par défaut, côtés arrondis au multiple de 28 le plus proche, consulté le 2026-11-19) ; P. Wang et al., Qwen2-VL (arXiv:2409.12191 : encodeur ViT d’environ 675 M de paramètres). https://huggingface.co/Qwen/Qwen2-VL-7B-Instruct ↩

  3. vLLM Project, Production Metrics — KV cache usage (comportement du KV Cache en batch continu). https://docs.vllm.ai/en/stable/usage/metrics/ ↩

  4. OpenAI, Whisper model card (tailles tiny à large-v3, paramètres et empreinte mémoire indicative). https://github.com/openai/whisper ↩

  5. Mistral AI, Voxtral Mini 4B Realtime 2602 (transcription temps réel en streaming, délai 80 ms – 2,4 s, 480 ms recommandé ; 13 langues ; BF16, un GPU ≥ 16 Go ; vLLM ; Apache 2.0), Hugging Face, février 2026 ; Voxtral Mini 4B Realtime Arabic, 2026-10-08. https://huggingface.co/mistralai/Voxtral-Mini-4B-Realtime-2602 · https://huggingface.co/mistralai/Voxtral-Mini-4B-Realtime-Arabic ↩

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.