Index du lexique
Liste générée automatiquement au build. Pour une lecture guidée, voir Glossaire IA.
| Terme | Définition |
|---|---|
| ⚡ SGLang | Framework open-source d’inférence et de serving LLM, alternative à vLLM pour les workloads agentiques et les sorties structurées. |
| 🌳 RadixAttention | Technique de gestion du KV Cache par arbre de préfixes, introduite par SGLang pour réutiliser les contextes communs entre requêtes. |
| 🏢 Multi-tenant | Architecture SaaS IA où une même infrastructure sert plusieurs organisations isolées, avec risque de fuite inter-tenant en RAG. |
| 🔐 Zero Data Retention (ZDR) | Clause contractuelle d’API cloud LLM : ni persistance, ni réutilisation, ni revue humaine des prompts et réponses pour les modèles et endpoints couverts. |
| Agent autonome (LLM) | Système où un LLM pilote lui-même des outils et des décisions pour accomplir une tâche multi-étapes. |
| Agent custodien | Agent autonome chargé de maintenir un vault, dépôt ou corpus documentaire en proposant des corrections validées par l’humain. |
| Appel d’outils (Tool / Function Calling) | Capacité d’un LLM à émettre des requêtes structurées vers des fonctions externes (API, SQL, code) plutôt que du texte libre. |
| APU | Puce combinant CPU, GPU et NPU sur un même SoC, avec mémoire unifiée partagée. |
| Attention (mécanisme) | Mécanisme central du Transformer qui permet à chaque token de pondérer l’importance des autres tokens du contexte. |
| Attention linéaire | Famille d’attention qui résume le contexte dans un état de taille fixe au lieu d’un KV cache croissant ; souvent mêlée à quelques couches classiques (hybride). |
| Attention sparse | Attention où chaque token ne relit qu’une sélection des tokens passés jugés pertinents, au lieu de tout l’historique, pour réduire le coût des contextes longs. |
| Bande passante mémoire | Quantité de données transférées par seconde entre la mémoire et le processeur ou le GPU, en Go/s ; indicateur clé pour estimer la fluidité de la génération. |
| Base de données vectorielle | Base de données spécialisée dans le stockage et la recherche de vecteurs d’embeddings pour le RAG. |
| Benchmark LLM | Jeu de tests standardisé pour comparer les capacités, limites et risques de modèles de langage. |
| CUDA | Plateforme logicielle de NVIDIA pour programmer ses GPU ; la plupart des moteurs d’IA locale la visent en priorité, ce qui pèse sur le choix du matériel. |
| Decoding | Phase de génération où le modèle prédit un token à la fois en relisant le KV Cache ; elle gouverne les tokens par seconde et se heurte au Memory Wall. |
| ECN | Explicit Congestion Notification — mécanisme de signalement de congestion réseau utilisé avec RoCE pour éviter les pertes de paquets. |
| Embedding | Représentation numérique dense d’un token ou d’un document dans un espace vectoriel. |
| Excessive Agency | Vulnérabilité du Top 10 OWASP pour LLM : un agent IA dispose de trop de fonctionnalités, de permissions ou d’autonomie, d’où des actions réelles non voulues. |
| Exo | Orchestrateur P2P open-source pour fusionner la mémoire de plusieurs machines en un cluster IA local. |
| Fenêtre de contexte | Nombre maximal de tokens qu’un LLM peut traiter en entrée active — détermine le coût mémoire dynamique de l’inférence. |
| GGUF | Format de fichier portable pour l’inférence locale avec llama.cpp, optimisé pour les quantifications K-quant. |
| GPUDirect RDMA | Mécanisme permettant aux GPU d’échanger des données directement avec des périphériques réseau sans copie CPU. |
| GraphRAG | Évolution du RAG basée sur un graphe de connaissances plutôt qu’une base vectorielle. |
| HBM | Mémoire empilée à très haute bande passante, utilisée sur les accélérateurs IA professionnels. |
| Human-in-the-loop | Mode de gouvernance où une action automatisée importante attend une validation humaine avant d’être appliquée. |
| Inférence (LLM) | Phase où un LLM déjà entraîné produit une réponse token par token, en deux temps (prefill puis decoding) ; c’est elle qui dimensionne le matériel on-premise. |
| InfiniBand | Fabric réseau dédié hautes performances pour les clusters GPU, standard HPC et datacenter IA. |
| KV Cache | Mémoire qui conserve les clés et valeurs d’attention déjà calculées pour éviter de les recalculer, mais dont la taille croît avec le contexte. |
| LangGraph | Framework de graphe d’états pour orchestrer des agents LLM multi-étapes avec boucles, mémoire et contrôle de flux. |
| LiteLLM | Gateway OpenAI-compatible qui route les appels LLM vers des modèles locaux ou cloud depuis une interface unique. |
| LLM | Modèle IA entraîné sur de très grands corpus de texte, souvent de type Transformer ; en local, ses performances dépendent autant de la mémoire que du modèle. |
| LLM-as-a-judge | Technique d’évaluation où un modèle de langage sert de juge pour noter ou comparer des réponses. |
| LPDDR5X | Mémoire vive basse consommation, normalisée par le JEDEC, soudée près de la puce ; elle équipe les machines à mémoire unifiée (Mac, Ryzen AI Max, DGX Spark). |
| Mémoire unifiée | Architecture où CPU, GPU et parfois NPU partagent un même pool mémoire, évitant certaines copies via PCIe ; présente sur Apple Silicon et des APU AMD récents. |
| Memory Tree | Architecture mémoire qui organise documents et résumés en arbre hiérarchique pour limiter le contexte injecté au LLM. |
| Memory Wall | Situation où le débit mémoire limite la performance plus que la puissance de calcul, surtout en génération auto-régressive ; à ne pas juger sur les TFLOPS. |
| MLA (Multi-head Latent Attention) | Variante de l’attention qui stocke dans le KV cache un petit vecteur compressé par token au lieu des clés et valeurs complètes, introduite par DeepSeek-V2. |
| MoE | Mixture of Experts — architecture où seuls certains sous-réseaux sont activés par token, permettant des modèles énormes avec un coût d’inférence maîtrisé. |
| Multi-GPU | Architecture à plusieurs GPU dans une machine ou un cluster pour augmenter la mémoire et le débit ; les gains dépendent de l’interconnexion (PCIe, NVLink). |
| NCCL | Bibliothèque NVIDIA de communication collective optimisée pour les transferts GPU-à-GPU à grande échelle. |
| NPU | Neural Processing Unit — accélérateur spécialisé IA intégré aux SoC modernes, utile pour certaines tâches mais limité pour les grands LLM. |
| NVLink | Lien matériel dédié qui relie les GPU NVIDIA à très haute vitesse en contournant le bus PCIe ; il a disparu des cartes workstation et grand public récentes. |
| NVSwitch | Commutateur NVIDIA qui connecte plusieurs GPU en un fabric NVLink totalement non bloquant à l’intérieur d’un nœud. |
| Offloading | Technique qui place une partie du modèle en RAM ou sur SSD quand la VRAM est insuffisante, au prix d’un débit réduit. |
| Ollama | Runtime local simplifié pour télécharger et exécuter des LLM via llama.cpp ou MLX, avec API OpenAI-compatible. |
| On-Premise (IA) | Infrastructure IA hébergée et opérée sur les équipements propres de l’organisation, sans délégation à un fournisseur cloud. |
| PagedAttention | Technique de gestion du KV Cache par blocs de mémoire virtuelle, popularisée par vLLM. |
| PCIe | Bus standard reliant CPU, GPU, SSD et autres périphériques ; il limite l’offloading CPU vers GPU et le Tensor Parallelism sur les setups multi-GPU sans NVLink. |
| PFC | Priority Flow Control — mécanisme Ethernet de pause par priorité pour garantir un réseau lossless nécessaire à RoCE. |
| Pipeline Parallelism | Stratégie de distribution d’un LLM en tranches de couches entre plusieurs machines. |
| Prefill | Phase d’inférence qui traite le prompt initial en parallèle avant la génération mot à mot. |
| Prompt injection | Attaque où du contenu non fiable dans le contexte du LLM détourne ses instructions système pour exfiltrer des données ou exécuter des actions non autorisées. |
| Quantification | Réduction de précision numérique des poids d’un LLM pour diminuer l’empreinte mémoire et accélérer l’inférence. |
| Quantification Q4 | Format de quantification 4-bit le plus utilisé en pratique pour l’inférence locale — en particulier Q4_K_M dans l’écosystème GGUF/Ollama. |
| RAG | Architecture qui combine recherche documentaire et génération LLM pour ancrer les réponses dans des sources internes. |
| RAGAS | Framework qui évalue un système RAG en séparant la qualité du retrieval et la fidélité de la réponse, pour diagnostiquer où le pipeline échoue. |
| RAM | Mémoire vive système, second choix pour l’inférence LLM quand la VRAM est insuffisante. |
| Ray | Framework de calcul distribué pour l’orchestration multi-nœuds de LLM en production. |
| RDMA | Technique réseau qui lit et écrit en mémoire distante sans passer par le CPU, avec faible latence ; elle se décline en InfiniBand et en RoCE. |
| RoCE | Protocole qui apporte les bénéfices du RDMA sur Ethernet standard, sans fabric InfiniBand dédié, au prix d’un réseau lossless à configurer (PFC, ECN). |
| SmolAgents | Framework léger de Hugging Face pour l’orchestration agentique locale, alternative souveraine à LangChain. |
| SoC | System on a Chip : une seule puce qui réunit processeur, puce graphique, accélérateur IA et contrôleur mémoire ; base des Mac Apple Silicon et du DGX Spark. |
| Speculative Decoding | Technique d’accélération de l’inférence où un petit modèle rapide propose des tokens que le grand modèle vérifie en un passage ; deux modèles sont à charger. |
| Tensor Parallelism | Stratégie de distribution d’un LLM par découpage des matrices mathématiques entre plusieurs GPU d’un même nœud. |
| TensorRT-LLM | SDK NVIDIA d’inférence LLM optimisée (PyTorch natif, FP8/NVFP4) pour GPU datacenter. |
| TFLOPS | Unité qui mesure la capacité de calcul flottant par seconde ; utile pour comparer le calcul brut, mais insuffisante pour prédire les performances d’un LLM. |
| Thunderbolt | Interface câblée haut débit pour postes de travail et clusters de bureau IA. |
| Tokenisation | Découpage d’un texte en unités numériques (tokens) avant traitement par un LLM. |
| Tokens par seconde | Nombre de tokens générés par seconde en phase de génération ; indicateur de fluidité, à interpréter avec le TTFT selon le modèle, le moteur et le matériel. |
| TTFT | Time To First Token : délai entre l’envoi d’une requête et le premier token de réponse, qui reflète surtout le prefill et complète la métrique tokens/s. |
| vLLM | Moteur open-source d’inférence LLM haut débit pour GPU NVIDIA/AMD, standard de production multi-utilisateurs. |
| VRAM | Mémoire à haut débit attachée au GPU, qui stocke poids, KV Cache et buffers ; capacité et bande passante déterminent quels modèles tournent sans offloading. |