Offloading
📝 Définition courte
Technique qui déplace une partie des poids d’un modèle hors de la VRAM (en RAM système ou sur SSD) pour permettre de faire tourner un modèle trop grand pour tenir en VRAM, en acceptant un débit de génération réduit.
📖 Définition détaillée
Quand un modèle de 40 Go ne tient pas dans une VRAM de 24 Go, llama.cpp peut en charger une vingtaine de Go en VRAM et garder le reste en RAM. Lors de l’inférence, les couches “hors VRAM” sont calculées par le CPU directement en RAM (option -ngl) : seules les activations traversent le PCIe.
Le goulot d’étranglement est la bande passante de la RAM système (~80–100 Go/s en DDR5 dual-channel) ; le PCIe ne devient limitant que si des poids sont recopiés vers le GPU à chaque passe :
| Connexion | Bande passante réelle | Impact token/s |
|---|---|---|
| PCIe 5.0 x16 | ~64 Go/s par direction (~128 Go/s bidirectionnel) | Limitant si les poids sont recopiés à chaque passe |
| PCIe 4.0 x16 | ~32 Go/s par direction (~64 Go/s bidirectionnel) | Idem, deux fois plus lent |
| Thunderbolt 4 (GPU externe) | ~4 Go/s (tunnel PCIe 32 Gb/s) | Rédhibitoire si les poids sont recopiés à chaque passe ; sinon, ne ralentit que le chargement initial |
Formule approchée du débit en offloading partiel (P_VRAM et P_RAM : Go de poids placés en VRAM et en RAM ; D : bande passante en Go/s) :
💡 Pourquoi c’est important en IA on-premise
L’offloading est le cœur du Scénario A (Labo Dev) : une machine à moins de 3 500 € avec 16–24 Go de VRAM peut faire tourner un modèle 70B en Q4 (~40 Go) en offloadant les couches excédentaires en DDR5. Le débit plafonnera à environ 4–5 tokens/s (borne théorique ; le débit mesuré est inférieur, voir Scénario A) plutôt que 15–40 tokens/s, mais c’est suffisant pour développer et tester.
⚠️ Pièges fréquents
- L’offloading et la concurrence ne font pas bon ménage : à 5 utilisateurs simultanés, chaque requête relit les couches restées en RAM, déjà bornées par la bande passante DDR5, ce qui effondre le débit global.
- Offloader sur SSD (au lieu de RAM) est possible mais 10× plus lent — à réserver au chargement initial, pas à l’inférence en temps réel.
- Croire que plus de RAM compense toujours : la capacité permet de charger le modèle, mais le débit reste borné par la bande passante de la RAM (~80–100 Go/s en DDR5 dual-channel), pas par sa taille.