Bande passante mémoire
📝 Définition courte
Quantité de données transférées par seconde entre mémoire et processeur/GPU, généralement en Go/s.
📖 Définition détaillée
Plus la bande passante est élevée, plus le modèle peut être “relu” rapidement pendant la génération. Pour une estimation rapide en inférence locale : tokens/s théorique ~= Go/s mémoire divisés par taille du modèle en Go.
💡 Pourquoi c’est important en IA on-premise
C’est l’indicateur clé pour prévoir la fluidité en génération sur des LLM volumineux.
⚠️ Pièges fréquents
- Prendre la formule tokens/s comme valeur réelle garantie.
- Confondre bande passante mémoire locale et bande passante réseau.
🔗 Voir aussi
Situation où le débit mémoire limite la performance plus que la puissance de calcul, surtout en génération auto-régressive ; à ne pas juger sur les TFLOPS.Nombre de tokens générés par seconde en phase de génération ; indicateur de fluidité, à interpréter avec le TTFT selon le modèle, le moteur et le matériel.