Aller au contenu

Bande passante mémoire

📝 Définition courte

Quantité de données transférées par seconde entre mémoire et processeur/GPU, généralement en Go/s.

📖 Définition détaillée

Plus la bande passante est élevée, plus le modèle peut être “relu” rapidement pendant la génération. Pour une estimation rapide en inférence locale : tokens/s théorique ~= Go/s mémoire divisés par taille du modèle en Go.

💡 Pourquoi c’est important en IA on-premise

C’est l’indicateur clé pour prévoir la fluidité en génération sur des LLM volumineux.

⚠️ Pièges fréquents

  • Prendre la formule tokens/s comme valeur réelle garantie.
  • Confondre bande passante mémoire locale et bande passante réseau.

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.