LLM
📝 Définition courte
Modèle IA entraîné sur de très grands corpus textuels, capable de comprendre et générer du texte.
📖 Définition détaillée
Les LLM modernes reposent majoritairement sur l’architecture Transformer. Une fois entraînés, ils servent surtout à l’inférence : génération de texte à la demande à partir d’un prompt. Leur performance pratique en local dépend autant du hardware mémoire que de la taille/quantification du modèle.
💡 Pourquoi c’est important en IA on-premise
C’est le composant central du stack : tout le dimensionnement (RAM/VRAM, débit, latence) en découle, surtout pour l’inférence locale — rarement pour un entraînement from scratch.
⚠️ Pièges fréquents
- Penser qu’un “plus gros modèle” est toujours meilleur pour tous les usages.
- Oublier que les performances dépendent autant de la mémoire machine que du modèle.
📚 Pour comprendre en profondeur
Vous voulez voir ce qu’un LLM fait concrètement quand vous lui parlez ?
- 🧠 Le Voyage d'un Prompt (tokenisation, prefill, decoding — le cycle complet, pas à pas)
- Inférence (LLM) (l’utilisation quotidienne d’un LLM déjà entraîné)
- 🗜️ Quantification 4-bit & 8-bit (comment réduire la taille d’un modèle pour qu’il tienne en mémoire)
🔗 Voir aussi
Phase où un LLM déjà entraîné produit une réponse token par token, en deux temps (prefill puis decoding) ; c'est elle qui dimensionne le matériel on-premise.Réduction de précision numérique des poids d'un LLM pour diminuer l'empreinte mémoire et accélérer l'inférence.Situation où le débit mémoire limite la performance plus que la puissance de calcul, surtout en génération auto-régressive ; à ne pas juger sur les TFLOPS.Architecture qui combine recherche documentaire et génération LLM pour ancrer les réponses dans des sources internes.