Aller au contenu

Memory Wall

📝 Définition courte

Situation où le débit mémoire limite la performance plus que la puissance de calcul brute.

📖 Définition détaillée

Dans les charges IA modernes, surtout en génération auto-régressive, les unités de calcul peuvent attendre les données. Le ratio calcul/transfert (intensité arithmétique) devient alors défavorable, ce qui dégrade le débit final.

💡 Pourquoi c’est important en IA on-premise

Le choix machine ne se fait pas uniquement sur les TFLOPS : bande passante mémoire, type de mémoire et interconnexions ont un impact direct sur l’expérience utilisateur.

⚠️ Pièges fréquents

  • Acheter une machine sur la base des TFLOPS seuls.
  • Ignorer la différence entre performance prefill et performance decoding.

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.