Memory Wall
📝 Définition courte
Situation où le débit mémoire limite la performance plus que la puissance de calcul brute.
📖 Définition détaillée
Dans les charges IA modernes, surtout en génération auto-régressive, les unités de calcul peuvent attendre les données. Le ratio calcul/transfert (intensité arithmétique) devient alors défavorable, ce qui dégrade le débit final.
💡 Pourquoi c’est important en IA on-premise
Le choix machine ne se fait pas uniquement sur les TFLOPS : bande passante mémoire, type de mémoire et interconnexions ont un impact direct sur l’expérience utilisateur.
⚠️ Pièges fréquents
- Acheter une machine sur la base des TFLOPS seuls.
- Ignorer la différence entre performance prefill et performance decoding.
🔗 Voir aussi
Quantité de données transférées par seconde entre la mémoire et le processeur ou le GPU, en Go/s ; indicateur clé pour estimer la fluidité de la génération.Phase de génération où le modèle prédit un token à la fois en relisant le KV Cache ; elle gouverne les tokens par seconde et se heurte au Memory Wall.