Aller au contenu

Embedding

📝 Définition courte

Vecteur de coordonnées qui encode le sens d’un token ou d’un document dans un espace mathématique — les concepts proches sont proches dans cet espace.

📖 Définition détaillée

Après tokenisation, chaque token est converti en un vecteur de dimension fixe (ex : 4096 dimensions pour Llama 3.1 8B). Dans cet espace, « Roi » et « Reine » sont proches ; « Paris » et « France » aussi. C’est cette géographie qui permet au modèle de raisonner par analogie.

Deux usages distincts à ne pas confondre :

  • Embeddings internes d’un LLM : vecteurs calculés à chaque couche pendant le Prefill/Decoding — ils servent au mécanisme d’attention.
  • Embeddings de recherche (RAG) : produits par des modèles spécialisés (ex : nomic-embed-text, sentence-transformers) pour indexer des documents dans une base vectorielle.

💡 Pourquoi c’est important en IA on-premise

La qualité du RAG dépend fortement du modèle d’embedding choisi. Un mauvais modèle d’embedding donne de mauvais résultats de recherche, quelle que soit la qualité du LLM en aval.

⚠️ Pièges fréquents

  • Les embeddings d’un LLM (internes) et les embeddings de recherche (RAG) sont des modèles distincts avec des usages différents.
  • Choisir un modèle d’embedding entraîné uniquement en anglais pour un corpus français dégradent fortement la qualité.

📚 Pour comprendre en profondeur

  1. 🧠 Le Voyage d'un Prompt (Étape 2 : de token à vecteur)
  2. 🧩 RAG & Agents (comment les embeddings de recherche alimentent le RAG)

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.