Aller au contenu

LLM

📝 Définition courte

Modèle IA entraîné sur de très grands corpus textuels, capable de comprendre et générer du texte.

📖 Définition détaillée

Les LLM modernes reposent majoritairement sur l’architecture Transformer. Une fois entraînés, ils servent surtout à l’inférence : génération de texte à la demande à partir d’un prompt. Leur performance pratique en local dépend autant du hardware mémoire que de la taille/quantification du modèle.

💡 Pourquoi c’est important en IA on-premise

C’est le composant central du stack : tout le dimensionnement (RAM/VRAM, débit, latence) en découle, surtout pour l’inférence locale — rarement pour un entraînement from scratch.

⚠️ Pièges fréquents

  • Penser qu’un “plus gros modèle” est toujours meilleur pour tous les usages.
  • Oublier que les performances dépendent autant de la mémoire machine que du modèle.

📚 Pour comprendre en profondeur

Vous voulez voir ce qu’un LLM fait concrètement quand vous lui parlez ?

  1. 🧠 Le Voyage d'un Prompt (tokenisation, prefill, decoding — le cycle complet, pas à pas)
  2. Inférence (LLM) (l’utilisation quotidienne d’un LLM déjà entraîné)
  3. 🗜️ Quantification 4-bit & 8-bit (comment réduire la taille d’un modèle pour qu’il tienne en mémoire)

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.