Aller au contenu

Tokenisation

📝 Définition courte

Transformation du texte en une suite d’identifiants numériques (tokens) que le modèle peut traiter, selon un dictionnaire appris à l’entraînement.

📖 Définition détaillée

Le texte est découpé en tokens (mots, sous-mots ou caractères) selon un algorithme appris pendant l’entraînement — le plus courant étant BPE (Byte Pair Encoding). Chaque token reçoit un numéro unique dans le vocabulaire du modèle. Ce numéro est ce que le modèle voit réellement.

Exemple : “Où est Paris ?” → [4502, 381, 1920, 30]

La taille du vocabulaire varie selon le modèle : Llama 3 utilise 128 256 tokens. Un mot rare peut être découpé en plusieurs sous-mots, ce qui augmente le nombre de tokens consommés.

💡 Pourquoi c’est important en IA on-premise

Le nombre de tokens d’un texte détermine directement la taille du KV Cache en VRAM et le coût du Prefill. Un PDF de 200 pages peut représenter des centaines de milliers de tokens.

⚠️ Pièges fréquents

  • Un même texte produit un nombre de tokens différent selon le tokenizer de chaque modèle — ne pas supposer que « 1 page ≈ 500 tokens » est universel.
  • Le français est souvent plus verbeux que l’anglais en tokens (plus de sous-mots créés).

📚 Pour comprendre en profondeur

  1. 🧠 Le Voyage d'un Prompt (Étape 1 : la tokenisation en action)
  2. 💾 KV Cache & Contexte (pourquoi le nombre de tokens pèse sur la VRAM)

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.