LLM : le grand modèle de langage

Un grand modèle de langage, ou LLM pour Large Language Model, est un programme entraîné à prédire la suite d'un texte. À partir d'un très grand volume de documents, il a appris quelles suites de mots sont statistiquement plausibles dans un contexte donné. C'est le mécanisme derrière ChatGPT, Claude, Gemini, Mistral ou Llama.

Cette description peut sembler réductrice au vu des résultats obtenus, mais elle est essentielle pour comprendre les forces et les limites de ces outils : un modèle de langage produit du texte plausible sans pouvoir s'assurer de sa véracité.

Comment fonctionne un LLM ?

Le fonctionnement repose sur quelques principes qu'il est utile de connaître avant d'engager un projet.

• Les jetons (tokens) : le texte est découpé en fragments, souvent des mots ou morceaux de mots, que le modèle manipule. La facturation des services commerciaux se fait au jeton, en entrée comme en sortie ; c'est la base de tout calcul de coût.
• La fenêtre de contexte : la quantité de texte que le modèle peut prendre en compte simultanément. Au-delà, il faut sélectionner ce qu'on lui transmet, ce qui justifie des techniques comme le RAG.
• Les paramètres : les valeurs numériques ajustées pendant l'entraînement, souvent comptées en milliards. Un modèle plus gros n'est pas nécessairement plus adapté à votre tâche, et coûte toujours plus cher à exécuter. Choisir le bon modèle est crucial.
• La date de coupure des connaissances : un modèle ignore tout ce qui est postérieur à son entraînement, dont la fin peut souvent être antérieure à plusieurs mois voire une année. Pour des informations récentes ou internes, il faut les lui fournir explicitement ou lui donner les moyens d'y accéder.
• Le caractère non déterministe : la même question peut produire deux réponses différentes. Cela complique les tests et interdit certains usages où la reproductibilité est exigée.

Modèle propriétaire ou modèle ouvert ?

C'est l'arbitrage principal d'un projet, et il n'a pas de réponse unique.

Notre recommandation habituelle : commencer par une API propriétaire pour les tests et valider la faisabilité. Basculer vers un modèle ouvert reste alors une décision technique plutôt qu'une refonte.

Ce qu'un LLM fait mal

Connaître les faiblesses de ces modèles évite de leur confier des tâches pour lesquelles ils sont inadaptés.

• Il invente avec aplomb : face à une question dont il n'a pas la réponse, un modèle produit souvent une réponse vraisemblable et fausse. C'est le phénomène d'hallucination.

• Il calcule mal : l'arithmétique exacte, le comptage et la logique formelle ne sont pas son terrain. Ces opérations doivent être déléguées à du code classique, même si certains modèles sont capables de faire appel à des bibliothèques internes (par exemple en Python) lorsqu'il y a besoin de manipuler des données chiffrées.

• Il reproduit les biais de ses données : stéréotypes, angles morts culturels et sur-représentation de l'anglais se retrouvent dans les données de sortie.

• Il ne sait pas ce qu'il ignore : Contrairement à Socrate, il a l'air d'être certain de sa réponse, mais ne saurait évaluer son exactitude.

Et la consommation énergétique ?

L'entraînement d'un grand modèle représente une dépense énergétique considérable, même si elle est amortie sur des milliards d'utilisations. Pour un projet web, l'essentiel se joue ailleurs : dans le nombre d'appels effectués et dans la taille du modèle sollicité.

Appeler un modèle généraliste massif pour classer un message en deux catégories est un mauvais usage technique et écologique. Notre démarche d'écoconception s'applique ici comme ailleurs : dimensionner le moyen au besoin, mettre en cache ce qui est stable, et ne pas appeler de modèle quand une règle simple suffit... quitte à utiliser le modèle pour concevoir un algorithme n'ayant pas besoin de lui !