Aller au contenu

Index du lexique

Liste générée automatiquement au build. Pour une lecture guidée, voir Glossaire IA.

TermeDéfinition
⚡ SGLangFramework open-source d’inférence et de serving LLM, alternative à vLLM pour les workloads agentiques et les sorties structurées.
🌳 RadixAttentionTechnique de gestion du KV Cache par arbre de préfixes, introduite par SGLang pour réutiliser les contextes communs entre requêtes.
🏢 Multi-tenantArchitecture SaaS IA où une même infrastructure sert plusieurs organisations isolées, avec risque de fuite inter-tenant en RAG.
🔐 Zero Data Retention (ZDR)Clause contractuelle d’API cloud LLM : ni persistance, ni réutilisation, ni revue humaine des prompts et réponses pour les modèles et endpoints couverts.
Agent autonome (LLM)Système où un LLM pilote lui-même des outils et des décisions pour accomplir une tâche multi-étapes.
Agent custodienAgent autonome chargé de maintenir un vault, dépôt ou corpus documentaire en proposant des corrections validées par l’humain.
Appel d’outils (Tool / Function Calling)Capacité d’un LLM à émettre des requêtes structurées vers des fonctions externes (API, SQL, code) plutôt que du texte libre.
APUPuce combinant CPU, GPU et NPU sur un même SoC, avec mémoire unifiée partagée.
Attention (mécanisme)Mécanisme central du Transformer qui permet à chaque token de pondérer l’importance des autres tokens du contexte.
Attention linéaireFamille d’attention qui résume le contexte dans un état de taille fixe au lieu d’un KV cache croissant ; souvent mêlée à quelques couches classiques (hybride).
Attention sparseAttention où chaque token ne relit qu’une sélection des tokens passés jugés pertinents, au lieu de tout l’historique, pour réduire le coût des contextes longs.
Bande passante mémoireQuantité de données transférées par seconde entre la mémoire et le processeur ou le GPU, en Go/s ; indicateur clé pour estimer la fluidité de la génération.
Base de données vectorielleBase de données spécialisée dans le stockage et la recherche de vecteurs d’embeddings pour le RAG.
Benchmark LLMJeu de tests standardisé pour comparer les capacités, limites et risques de modèles de langage.
CUDAPlateforme logicielle de NVIDIA pour programmer ses GPU ; la plupart des moteurs d’IA locale la visent en priorité, ce qui pèse sur le choix du matériel.
DecodingPhase de génération où le modèle prédit un token à la fois en relisant le KV Cache ; elle gouverne les tokens par seconde et se heurte au Memory Wall.
ECNExplicit Congestion Notification — mécanisme de signalement de congestion réseau utilisé avec RoCE pour éviter les pertes de paquets.
EmbeddingReprésentation numérique dense d’un token ou d’un document dans un espace vectoriel.
Excessive AgencyVulnérabilité du Top 10 OWASP pour LLM : un agent IA dispose de trop de fonctionnalités, de permissions ou d’autonomie, d’où des actions réelles non voulues.
ExoOrchestrateur P2P open-source pour fusionner la mémoire de plusieurs machines en un cluster IA local.
Fenêtre de contexteNombre maximal de tokens qu’un LLM peut traiter en entrée active — détermine le coût mémoire dynamique de l’inférence.
GGUFFormat de fichier portable pour l’inférence locale avec llama.cpp, optimisé pour les quantifications K-quant.
GPUDirect RDMAMécanisme permettant aux GPU d’échanger des données directement avec des périphériques réseau sans copie CPU.
GraphRAGÉvolution du RAG basée sur un graphe de connaissances plutôt qu’une base vectorielle.
HBMMémoire empilée à très haute bande passante, utilisée sur les accélérateurs IA professionnels.
Human-in-the-loopMode de gouvernance où une action automatisée importante attend une validation humaine avant d’être appliquée.
Inférence (LLM)Phase où un LLM déjà entraîné produit une réponse token par token, en deux temps (prefill puis decoding) ; c’est elle qui dimensionne le matériel on-premise.
InfiniBandFabric réseau dédié hautes performances pour les clusters GPU, standard HPC et datacenter IA.
KV CacheMémoire qui conserve les clés et valeurs d’attention déjà calculées pour éviter de les recalculer, mais dont la taille croît avec le contexte.
LangGraphFramework de graphe d’états pour orchestrer des agents LLM multi-étapes avec boucles, mémoire et contrôle de flux.
LiteLLMGateway OpenAI-compatible qui route les appels LLM vers des modèles locaux ou cloud depuis une interface unique.
LLMModèle IA entraîné sur de très grands corpus de texte, souvent de type Transformer ; en local, ses performances dépendent autant de la mémoire que du modèle.
LLM-as-a-judgeTechnique d’évaluation où un modèle de langage sert de juge pour noter ou comparer des réponses.
LPDDR5XMémoire vive basse consommation, normalisée par le JEDEC, soudée près de la puce ; elle équipe les machines à mémoire unifiée (Mac, Ryzen AI Max, DGX Spark).
Mémoire unifiéeArchitecture où CPU, GPU et parfois NPU partagent un même pool mémoire, évitant certaines copies via PCIe ; présente sur Apple Silicon et des APU AMD récents.
Memory TreeArchitecture mémoire qui organise documents et résumés en arbre hiérarchique pour limiter le contexte injecté au LLM.
Memory WallSituation où le débit mémoire limite la performance plus que la puissance de calcul, surtout en génération auto-régressive ; à ne pas juger sur les TFLOPS.
MLA (Multi-head Latent Attention)Variante de l’attention qui stocke dans le KV cache un petit vecteur compressé par token au lieu des clés et valeurs complètes, introduite par DeepSeek-V2.
MoEMixture of Experts — architecture où seuls certains sous-réseaux sont activés par token, permettant des modèles énormes avec un coût d’inférence maîtrisé.
Multi-GPUArchitecture à plusieurs GPU dans une machine ou un cluster pour augmenter la mémoire et le débit ; les gains dépendent de l’interconnexion (PCIe, NVLink).
NCCLBibliothèque NVIDIA de communication collective optimisée pour les transferts GPU-à-GPU à grande échelle.
NPUNeural Processing Unit — accélérateur spécialisé IA intégré aux SoC modernes, utile pour certaines tâches mais limité pour les grands LLM.
NVLinkLien matériel dédié qui relie les GPU NVIDIA à très haute vitesse en contournant le bus PCIe ; il a disparu des cartes workstation et grand public récentes.
NVSwitchCommutateur NVIDIA qui connecte plusieurs GPU en un fabric NVLink totalement non bloquant à l’intérieur d’un nœud.
OffloadingTechnique qui place une partie du modèle en RAM ou sur SSD quand la VRAM est insuffisante, au prix d’un débit réduit.
OllamaRuntime local simplifié pour télécharger et exécuter des LLM via llama.cpp ou MLX, avec API OpenAI-compatible.
On-Premise (IA)Infrastructure IA hébergée et opérée sur les équipements propres de l’organisation, sans délégation à un fournisseur cloud.
PagedAttentionTechnique de gestion du KV Cache par blocs de mémoire virtuelle, popularisée par vLLM.
PCIeBus standard reliant CPU, GPU, SSD et autres périphériques ; il limite l’offloading CPU vers GPU et le Tensor Parallelism sur les setups multi-GPU sans NVLink.
PFCPriority Flow Control — mécanisme Ethernet de pause par priorité pour garantir un réseau lossless nécessaire à RoCE.
Pipeline ParallelismStratégie de distribution d’un LLM en tranches de couches entre plusieurs machines.
PrefillPhase d’inférence qui traite le prompt initial en parallèle avant la génération mot à mot.
Prompt injectionAttaque où du contenu non fiable dans le contexte du LLM détourne ses instructions système pour exfiltrer des données ou exécuter des actions non autorisées.
QuantificationRéduction de précision numérique des poids d’un LLM pour diminuer l’empreinte mémoire et accélérer l’inférence.
Quantification Q4Format de quantification 4-bit le plus utilisé en pratique pour l’inférence locale — en particulier Q4_K_M dans l’écosystème GGUF/Ollama.
RAGArchitecture qui combine recherche documentaire et génération LLM pour ancrer les réponses dans des sources internes.
RAGASFramework qui évalue un système RAG en séparant la qualité du retrieval et la fidélité de la réponse, pour diagnostiquer où le pipeline échoue.
RAMMémoire vive système, second choix pour l’inférence LLM quand la VRAM est insuffisante.
RayFramework de calcul distribué pour l’orchestration multi-nœuds de LLM en production.
RDMATechnique réseau qui lit et écrit en mémoire distante sans passer par le CPU, avec faible latence ; elle se décline en InfiniBand et en RoCE.
RoCEProtocole qui apporte les bénéfices du RDMA sur Ethernet standard, sans fabric InfiniBand dédié, au prix d’un réseau lossless à configurer (PFC, ECN).
SmolAgentsFramework léger de Hugging Face pour l’orchestration agentique locale, alternative souveraine à LangChain.
SoCSystem on a Chip : une seule puce qui réunit processeur, puce graphique, accélérateur IA et contrôleur mémoire ; base des Mac Apple Silicon et du DGX Spark.
Speculative DecodingTechnique d’accélération de l’inférence où un petit modèle rapide propose des tokens que le grand modèle vérifie en un passage ; deux modèles sont à charger.
Tensor ParallelismStratégie de distribution d’un LLM par découpage des matrices mathématiques entre plusieurs GPU d’un même nœud.
TensorRT-LLMSDK NVIDIA d’inférence LLM optimisée (PyTorch natif, FP8/NVFP4) pour GPU datacenter.
TFLOPSUnité qui mesure la capacité de calcul flottant par seconde ; utile pour comparer le calcul brut, mais insuffisante pour prédire les performances d’un LLM.
ThunderboltInterface câblée haut débit pour postes de travail et clusters de bureau IA.
TokenisationDécoupage d’un texte en unités numériques (tokens) avant traitement par un LLM.
Tokens par secondeNombre de tokens générés par seconde en phase de génération ; indicateur de fluidité, à interpréter avec le TTFT selon le modèle, le moteur et le matériel.
TTFTTime To First Token : délai entre l’envoi d’une requête et le premier token de réponse, qui reflète surtout le prefill et complète la métrique tokens/s.
vLLMMoteur open-source d’inférence LLM haut débit pour GPU NVIDIA/AMD, standard de production multi-utilisateurs.
VRAMMémoire à haut débit attachée au GPU, qui stocke poids, KV Cache et buffers ; capacité et bande passante déterminent quels modèles tournent sans offloading.

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.