Aller au contenu

NPU

📝 Définition courte

Accélérateur matériel spécialisé dans les opérations de réseaux de neurones, intégré dans la plupart des SoC modernes (Apple Neural Engine, AMD XDNA, Qualcomm Hexagon, Intel NPU).

📖 Définition détaillée

Un NPU est optimisé pour des opérations matricielles à faible précision (INT8, INT4) avec une consommation énergétique très faible. Il excelle sur des tâches légères et répétitives : reconnaissance vocale, classification d’images, traduction courte, détection de mots-clés.

Pour les grands LLM (7B+), le NPU est généralement inutilisé par les moteurs d’inférence actuels pour deux raisons :

  1. Capacité mémoire insuffisante : le NPU accède à la mémoire système via ses propres canaux, souvent plus limités que le GPU iGPU.
  2. Support logiciel lacunaire : Ollama, llama.cpp et vLLM ne routent pas vers les NPU — ils utilisent Metal (Apple), ROCm (AMD) ou CUDA (NVIDIA).
NPUSoCTOPS (INT8)Utilisé pour LLM ?
Apple Neural EngineM4 Max~38 TOPSNon (Ollama/MLX → GPU Metal)
AMD XDNA 2Gorgon Halo~50 TOPSNon (ROCm/Vulkan → iGPU)
Qualcomm HexagonSnapdragon X Elite~45 TOPSPartiellement (Copilot+ sur Windows)

💡 Pourquoi c’est important en IA on-premise

Le NPU est pertinent pour des tâches edge et embarquées : transcription locale, filtrage de données, traitement de flux vidéo. Pour une appliance IA on-premise qui fait tourner un assistant LLM, le NPU est transparent — le GPU iGPU fait le travail.

⚠️ Pièges fréquents

  • Acheter un PC “IA” en se basant sur les TOPS NPU pour de l’inférence LLM : c’est la bande passante mémoire du GPU qui compte, pas les TOPS NPU.
  • Confondre les benchmarks NPU des constructeurs (tâches optimisées INT4) avec des performances LLM générales.

📚 Pour comprendre en profondeur

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.