Aller au contenu

Prefill

📝 Définition courte

Phase d’initialisation où le modèle “lit” et encode l’intégralité du prompt utilisateur avant de commencer à écrire sa réponse.

🔬 Ce n’est pas de la magie (Le mécanisme)

Le modèle ne lit pas du texte, il ingère une immense grille de nombres (les tokens convertis en embeddings). Pendant le Prefill, le modèle croise tous ces mots entre eux en parallèle (via le mécanisme d’Attention) pour comprendre le contexte, et sauvegarde les calculs intermédiaires en mémoire. Cela demande une force de calcul massive.

💡 Pourquoi c’est important en IA on-premise

Le prefill impacte directement la sensation de réactivité initiale, appelée le TTFT (Time To First Token). Si le prompt contient 100 pages de texte, un serveur mal dimensionné peut bloquer pendant plusieurs minutes avant d’afficher le premier mot.

📚 Pour comprendre en profondeur

Vous ne saisissez pas bien la différence avec la génération ? Suivez ce chemin :

  1. 🧠 Le Voyage d'un Prompt (Le chapitre “C’est pas sorcier”)
  2. 💾 Le KV Cache (Ce qui est stocké pendant cette phase)
  3. 🏎️ La Bande Passante Mémoire (L’impact matériel)

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.