Ce glossaire centralise les notions clés de l’IA on-premise.
Utilisez-le comme point d’entrée rapide, puis ouvrez les fiches détaillées.
Index complet : toutes les fiches du lexique (liste alphabétique, mise à jour au build).
🚶 Débutant — je découvre
Je ne sais pas par où commencer :
LLM → Inférence (LLM) → 🧠 Le Voyage d'un Prompt → Prefill / Decoding → Memory Wall → 🏎️ La Bande Passante Mémoire
Parcours recommandé
- Performance d’inférence : Inférence (LLM), Memory Wall, Bande passante mémoire, Prefill, Decoding, Tokens par seconde, TTFT.
- Mémoire & matériel : VRAM, RAM, Mémoire unifiée, PCIe, Multi-GPU, NVLink, NVSwitch.
- Systèmes IA en production : Quantification, Quantification Q4, KV Cache, RAG, RDMA, RoCE, InfiniBand.
- Réseau datacenter : PFC, ECN, NCCL, GPUDirect RDMA.
- Évaluation des modèles : Benchmark LLM, LLM-as-a-judge, RAGAS.
Index des acronymes
| Acronyme | Signification |
|---|
| APU | Accelerated Processing Unit |
| CUDA | Compute Unified Device Architecture (plateforme GPU NVIDIA) |
| ECN | Explicit Congestion Notification |
| HBM | High Bandwidth Memory |
| IB | InfiniBand |
| KV | Key-Value |
| LLM | Large Language Model |
| LPDDR5X | Low Power Double Data Rate 5X (mémoire basse consommation) |
| MLA | Multi-head Latent Attention |
| MoE | Mixture of Experts |
| NCCL | NVIDIA Collective Communications Library |
| NPU | Neural Processing Unit |
| PCIe | Peripheral Component Interconnect Express |
| PFC | Priority Flow Control |
| Q4 | Quantification 4-bit |
| RAG | Retrieval-Augmented Generation |
| RAM | Random Access Memory |
| RDMA | Remote Direct Memory Access |
| RoCE | RDMA over Converged Ethernet |
| SoC | System on a Chip (système sur puce) |
| TFLOPS | Tera Floating Point Operations Per Second |
| TTFT | Time To First Token |
| VRAM | Video RAM |
Fondations LLM
| Terme | Définition rapide |
|---|
| Tokenisation | Découpage du texte en unités numériques traitées par le modèle. |
| Embedding | Vecteur de coordonnées qui encode le sens d’un token. |
| Attention | Mécanisme qui pondère l’importance de chaque token dans le contexte. |
| Terme | Définition rapide |
|---|
| Memory Wall | Limite de performance due aux transferts mémoire plutôt qu’au calcul. |
| Bande passante mémoire | Débit de transfert de données mémoire, souvent exprimé en Go/s. |
| Prefill | Phase d’ingestion du prompt, plus parallèle. |
| Decoding | Phase auto-régressive token par token, souvent memory-bound. |
| KV Cache | Cache des clés/valeurs d’attention pour accélérer la génération. |
| MLA | Attention qui stocke un résumé compressé par token au lieu des clés/valeurs complètes. |
| Attention sparse | Chaque token ne relit qu’une sélection des tokens passés pertinents. |
| Attention linéaire | Mémoire du contexte dans un état de taille fixe au lieu d’un cache croissant. |
| Tokens/s | Débit de génération mesuré en tokens par seconde. |
Stack logicielle
| Terme | Définition rapide |
|---|
| Ollama | Runtime local llama.cpp + API OpenAI pour tests et labo. |
| vLLM | Moteur production haut débit, PagedAttention, multi-utilisateurs. |
| SGLang | Inférence agentique, RadixAttention, JSON structuré. |
| RadixAttention | KV Cache par arbre de préfixes (SGLang). |
| Speculative Decoding | Petit modèle draft + grand modèle validateur pour accélérer le decoding. |
| PagedAttention | Gestion du KV Cache par blocs virtuels ; clé de la production vLLM. |
| GGUF | Format portable pour l’inférence locale avec llama.cpp/Ollama. |
| TensorRT-LLM | SDK NVIDIA de compilation ultra-optimisée pour GPU datacenter. |
| Exo | Orchestrateur P2P pour cluster IA de bureau (Mac Mini + Thunderbolt). |
| Ray | Framework distribué pour déploiement multi-nœuds en production. |
| Pipeline Parallelism | Découpage d’un modèle en tranches de couches entre nœuds. |
| Tensor Parallelism | Découpage des matrices au sein d’un nœud multi-GPU NVLink. |
| Thunderbolt | Interconnexion bureau jusqu’à 80 Gb/s pour les clusters Exo. |
Infrastructure & architecture
| Terme | Définition rapide |
|---|
| Mémoire unifiée | Pool mémoire partagé CPU/GPU/NPU dans un SoC. |
| Offloading | Déplacement partiel de poids/activations entre mémoires selon la capacité. |
| Multi-GPU | Plusieurs GPU pour plus de capacité et/ou de débit. |
| NVLink | Interconnexion GPU à haut débit (gammes pro/datacenter). |
| NVSwitch | Fabric NVLink non bloquant entre tous les GPU d’un nœud HGX. |
| PCIe | Bus standard CPU↔GPU ; goulot inter-GPU sans NVLink. |
Réseau & Clustering
| Terme | Définition rapide |
|---|
| RDMA | Transfert mémoire-à-mémoire sans copie CPU pour clusters multi-nœuds. |
| RoCE | RDMA sur Ethernet ; nécessite PFC + ECN pour être lossless. |
| InfiniBand | Fabric réseau dédié HPC/IA, lossless natif, ~400–800 Gb/s. |
| GPUDirect RDMA | Transfert direct VRAM↔carte réseau sans copie CPU. |
| NCCL | Bibliothèque NVIDIA de communication collective GPU-à-GPU. |
| PFC | Priority Flow Control — pause par priorité pour réseau lossless RoCE. |
| ECN | Explicit Congestion Notification — gestion proactive de la congestion. |
Concepts fondateurs
| Terme | Définition rapide |
|---|
| On-Premise | Infrastructure IA hébergée sur les équipements propres de l’organisation. |
| LLM | Grand modèle de langage entraîné sur de vastes corpus textuels. |
| Inférence (LLM) | Utilisation d’un LLM entraîné pour générer du texte à la demande. |
IA applicative
| Terme | Définition rapide |
|---|
| Inférence (LLM) | Utilisation d’un LLM entraîné pour générer du texte à la demande. |
| RAG | Architecture qui enrichit le contexte d’un LLM avec une base documentaire. |
| Base de données vectorielle | Stockage et recherche de documents par similarité d’embeddings. |
| GraphRAG | RAG basé sur un graphe de connaissances pour les requêtes globales. |
| Memory Tree | Mémoire hiérarchique qui charge seulement les résumés et nœuds utiles. |
| Agent autonome | LLM équipé d’outils qui raisonne en boucle pour accomplir des tâches. |
| Agent custodien | Agent de maintenance qui propose des corrections et attend validation humaine. |
| Human-in-the-loop | Gouvernance où l’humain valide les actions critiques avant application. |
| Excessive Agency | Vulnérabilité OWASP LLM06 : agent trop permissif en outils, droits ou autonomie. |
| LiteLLM | Gateway OpenAI-compatible pour router vers modèles locaux ou cloud. |
| SmolAgents | Framework léger Hugging Face pour agents souverains sans télémétrie cloud. |
| LangGraph | Graphe d’états pour agents et RAG agentique multi-étapes. |
| Appel d'outils | Function / tool calling — LLM vers fonctions externes structurées. |
| Prompt injection | OWASP LLM01 — détournement via contenu non fiable (RAG, web). |
| Zero Data Retention | Clause ZDR : absence de persistance cloud des prompts. |
| Multi-tenant | Isolation multi-organisations ; risque RAG inter-tenant. |
| Fenêtre de contexte | Nombre maximal de tokens que le modèle peut traiter en entrée active. |
| Quantification | Réduction de précision numérique pour diminuer mémoire et coût de calcul. |
| MoE | Architecture avec experts spécialisés activés partiellement par token. |
Évaluation des modèles
| Terme | Définition rapide |
|---|
| Benchmark LLM | Jeu de tests standardisé pour comparer des modèles de langage. |
| LLM-as-a-judge | Usage d’un LLM comme juge pour noter ou comparer des réponses. |
| RAGAS | Framework d’évaluation des pipelines RAG : retrieval, fidélité et pertinence. |
Chapitres liés
Modèle IA entraîné sur de très grands corpus de texte, souvent de type Transformer ; en local, ses performances dépendent autant de la mémoire que du modèle.Phase où un LLM déjà entraîné produit une réponse token par token, en deux temps (prefill puis decoding) ; c'est elle qui dimensionne le matériel on-premise.Phase d'inférence qui traite le prompt initial en parallèle avant la génération mot à mot.Phase de génération où le modèle prédit un token à la fois en relisant le KV Cache ; elle gouverne les tokens par seconde et se heurte au Memory Wall.Situation où le débit mémoire limite la performance plus que la puissance de calcul, surtout en génération auto-régressive ; à ne pas juger sur les TFLOPS.Quantité de données transférées par seconde entre la mémoire et le processeur ou le GPU, en Go/s ; indicateur clé pour estimer la fluidité de la génération.Nombre de tokens générés par seconde en phase de génération ; indicateur de fluidité, à interpréter avec le TTFT selon le modèle, le moteur et le matériel.Time To First Token : délai entre l'envoi d'une requête et le premier token de réponse, qui reflète surtout le prefill et complète la métrique tokens/s.Mémoire à haut débit attachée au GPU, qui stocke poids, KV Cache et buffers ; capacité et bande passante déterminent quels modèles tournent sans offloading.Mémoire vive système, second choix pour l'inférence LLM quand la VRAM est insuffisante.Architecture où CPU, GPU et parfois NPU partagent un même pool mémoire, évitant certaines copies via PCIe ; présente sur Apple Silicon et des APU AMD récents.Bus standard reliant CPU, GPU, SSD et autres périphériques ; il limite l'offloading CPU vers GPU et le Tensor Parallelism sur les setups multi-GPU sans NVLink.Architecture à plusieurs GPU dans une machine ou un cluster pour augmenter la mémoire et le débit ; les gains dépendent de l'interconnexion (PCIe, NVLink).Lien matériel dédié qui relie les GPU NVIDIA à très haute vitesse en contournant le bus PCIe ; il a disparu des cartes workstation et grand public récentes.Commutateur NVIDIA qui connecte plusieurs GPU en un fabric NVLink totalement non bloquant à l'intérieur d'un nœud.Réduction de précision numérique des poids d'un LLM pour diminuer l'empreinte mémoire et accélérer l'inférence.Format de quantification 4-bit le plus utilisé en pratique pour l'inférence locale — en particulier Q4_K_M dans l'écosystème GGUF/Ollama.Mémoire qui conserve les clés et valeurs d'attention déjà calculées pour éviter de les recalculer, mais dont la taille croît avec le contexte.Architecture qui combine recherche documentaire et génération LLM pour ancrer les réponses dans des sources internes.Technique réseau qui lit et écrit en mémoire distante sans passer par le CPU, avec faible latence ; elle se décline en InfiniBand et en RoCE.Protocole qui apporte les bénéfices du RDMA sur Ethernet standard, sans fabric InfiniBand dédié, au prix d'un réseau lossless à configurer (PFC, ECN).Fabric réseau dédié hautes performances pour les clusters GPU, standard HPC et datacenter IA.Priority Flow Control — mécanisme Ethernet de pause par priorité pour garantir un réseau lossless nécessaire à RoCE.Explicit Congestion Notification — mécanisme de signalement de congestion réseau utilisé avec RoCE pour éviter les pertes de paquets.Bibliothèque NVIDIA de communication collective optimisée pour les transferts GPU-à-GPU à grande échelle.Mécanisme permettant aux GPU d'échanger des données directement avec des périphériques réseau sans copie CPU.Jeu de tests standardisé pour comparer les capacités, limites et risques de modèles de langage.Technique d'évaluation où un modèle de langage sert de juge pour noter ou comparer des réponses.Framework qui évalue un système RAG en séparant la qualité du retrieval et la fidélité de la réponse, pour diagnostiquer où le pipeline échoue.Puce combinant CPU, GPU et NPU sur un même SoC, avec mémoire unifiée partagée.Plateforme logicielle de NVIDIA pour programmer ses GPU ; la plupart des moteurs d'IA locale la visent en priorité, ce qui pèse sur le choix du matériel.Mémoire empilée à très haute bande passante, utilisée sur les accélérateurs IA professionnels.Mémoire vive basse consommation, normalisée par le JEDEC, soudée près de la puce ; elle équipe les machines à mémoire unifiée (Mac, Ryzen AI Max, DGX Spark).Variante de l'attention qui stocke dans le KV cache un petit vecteur compressé par token au lieu des clés et valeurs complètes, introduite par DeepSeek-V2.Mixture of Experts — architecture où seuls certains sous-réseaux sont activés par token, permettant des modèles énormes avec un coût d'inférence maîtrisé.Neural Processing Unit — accélérateur spécialisé IA intégré aux SoC modernes, utile pour certaines tâches mais limité pour les grands LLM.System on a Chip : une seule puce qui réunit processeur, puce graphique, accélérateur IA et contrôleur mémoire ; base des Mac Apple Silicon et du DGX Spark.Unité qui mesure la capacité de calcul flottant par seconde ; utile pour comparer le calcul brut, mais insuffisante pour prédire les performances d'un LLM.Découpage d'un texte en unités numériques (tokens) avant traitement par un LLM.Représentation numérique dense d'un token ou d'un document dans un espace vectoriel.Mécanisme central du Transformer qui permet à chaque token de pondérer l'importance des autres tokens du contexte.Attention où chaque token ne relit qu'une sélection des tokens passés jugés pertinents, au lieu de tout l'historique, pour réduire le coût des contextes longs.Famille d'attention qui résume le contexte dans un état de taille fixe au lieu d'un KV cache croissant ; souvent mêlée à quelques couches classiques (hybride).Runtime local simplifié pour télécharger et exécuter des LLM via llama.cpp ou MLX, avec API OpenAI-compatible.Moteur open-source d'inférence LLM haut débit pour GPU NVIDIA/AMD, standard de production multi-utilisateurs.Framework open-source d'inférence et de serving LLM, alternative à vLLM pour les workloads agentiques et les sorties structurées.Technique de gestion du KV Cache par arbre de préfixes, introduite par SGLang pour réutiliser les contextes communs entre requêtes.Technique d'accélération de l'inférence où un petit modèle rapide propose des tokens que le grand modèle vérifie en un passage ; deux modèles sont à charger.Technique de gestion du KV Cache par blocs de mémoire virtuelle, popularisée par vLLM.Format de fichier portable pour l'inférence locale avec llama.cpp, optimisé pour les quantifications K-quant.SDK NVIDIA d'inférence LLM optimisée (PyTorch natif, FP8/NVFP4) pour GPU datacenter.Orchestrateur P2P open-source pour fusionner la mémoire de plusieurs machines en un cluster IA local.Framework de calcul distribué pour l'orchestration multi-nœuds de LLM en production.Stratégie de distribution d'un LLM en tranches de couches entre plusieurs machines.Stratégie de distribution d'un LLM par découpage des matrices mathématiques entre plusieurs GPU d'un même nœud.Interface câblée haut débit pour postes de travail et clusters de bureau IA.Technique qui place une partie du modèle en RAM ou sur SSD quand la VRAM est insuffisante, au prix d'un débit réduit.Infrastructure IA hébergée et opérée sur les équipements propres de l'organisation, sans délégation à un fournisseur cloud.Base de données spécialisée dans le stockage et la recherche de vecteurs d'embeddings pour le RAG.Évolution du RAG basée sur un graphe de connaissances plutôt qu'une base vectorielle.Architecture mémoire qui organise documents et résumés en arbre hiérarchique pour limiter le contexte injecté au LLM.Système où un LLM pilote lui-même des outils et des décisions pour accomplir une tâche multi-étapes.Agent autonome chargé de maintenir un vault, dépôt ou corpus documentaire en proposant des corrections validées par l'humain.Mode de gouvernance où une action automatisée importante attend une validation humaine avant d'être appliquée.Vulnérabilité du Top 10 OWASP pour LLM : un agent IA dispose de trop de fonctionnalités, de permissions ou d'autonomie, d'où des actions réelles non voulues.Gateway OpenAI-compatible qui route les appels LLM vers des modèles locaux ou cloud depuis une interface unique.Framework léger de Hugging Face pour l'orchestration agentique locale, alternative souveraine à LangChain.Framework de graphe d'états pour orchestrer des agents LLM multi-étapes avec boucles, mémoire et contrôle de flux.Capacité d'un LLM à émettre des requêtes structurées vers des fonctions externes (API, SQL, code) plutôt que du texte libre.Attaque où du contenu non fiable dans le contexte du LLM détourne ses instructions système pour exfiltrer des données ou exécuter des actions non autorisées.Clause contractuelle d'API cloud LLM : ni persistance, ni réutilisation, ni revue humaine des prompts et réponses pour les modèles et endpoints couverts.Architecture SaaS IA où une même infrastructure sert plusieurs organisations isolées, avec risque de fuite inter-tenant en RAG.Nombre maximal de tokens qu'un LLM peut traiter en entrée active — détermine le coût mémoire dynamique de l'inférence.