D'où apprennent les modèles locaux : les poids ouverts expliqués sans fumage

La question revient toujours, et elle est légitime : un modèle qui tourne sur votre PC, d'où tire-t-il ses capacités ? Pas d'internet, pas de serveur auquel il se raccroche : pourtant il sait la grammaire, les maths, le code. La réponse en une phrase : il les a apprises une seule fois, pendant l'entraînement, sur des données publiques — et depuis, tout vit dans les poids du modèle, qui sont sur un disque, pas sur un cloud.

L'analogie, c'est celle de l'encyclopédiste. Un encyclopédiste qui a lu des millions de pages n'a pas besoin de la bibliothèque pour répondre : il sait que la capitale de la France est Paris sans y penser, parce que l'information est devenue partie de lui. Un modèle pré-entraîné est exactement ça : un « encyclopédiste » qui a lu une fraction significative du texte public d'internet, et qui depuis répond de mémoire. Votre matériel ne télécharge rien en temps réel : il exécute des calculs sur ce que le modèle a déjà appris.

Les trois phases : comment on construit un modèle

1. Pré-entraînement — le modèle lit le monde. Les chercheurs assemblent un corpus énorme de texte public (web, livres numérisés, Wikipédia, code sur GitHub, forums) et font une chose apparemment stupide : ils entraînent le réseau à prédire le mot suivant, des milliards de milliards de fois. Pour le faire bien, le modèle est contraint de construire une représentation interne du monde : sens, structures logiques, conventions d'un langage de programmation, règles de la physique qu'on devine dans des millions de pages. C'est dans cette phase que naissent les capacités.

2. Alignement — il apprend à être utile. Le modèle brut du pré-entraînement est un compléteur de texte avec la personnalité d'une autocomplétion. Un second passage (instruction + retour d'expérience) le transforme en assistant qui suit vos questions au lieu de simplement continuer le texte.

3. Distribution — les poids sortent (ou pas). C'est ici que se décide si un modèle est « à poids ouverts ». Le lab publie le fichier de poids (des dizaines ou centaines de Go, en formats comme GGUF) et vous le téléchargez une fois : dès lors il est à vous, il tourne hors ligne, personne ne le met à jour ni ne le retire. OpenAI avec ChatGPT ne publie pas les poids : le modèle ne quitte jamais ses serveurs. Voici la vraie ligne de front — pas entre « open source » et « commercial », mais entre des poids que vous possédez et des poids que vous utilisez en location.

Poids ouverts ne veut pas dire données ouvertes

La partie où la confusion est la plus fréquente : « open weight » ne signifie pas que les données d'entraînement soient publiques, ni que le modèle soit open source au sens légal (licence GPL). Ça signifie que le fichier de poids est téléchargeable et modifiable : vous pouvez le quantifier, le fine-tuner, le distribuer, supprimer le cloud. Les données avec lesquelles il a été entraîné, en général, restent un mélange propriétaire et public que le lab ne met pas à disposition intégralement.

Alors non : l'IA locale ne « prend des données globales » chez Mistral ou DeepSeek en temps réel. Elle prend ce que les poids ont mémorisé, et elle l'exécute sur votre machine.

Les modèles que vous pourriez faire tourner, et d'où ils viennent

Modèle	Paramètres	Pré-entraînement déclaré	Qui le publie
Llama 3.1 (Meta)	8B – 405B	~15 000 milliards de tokens, 8+ langues	Meta
Mistral 7B (Mistral)	7B	~8 000 milliards de tokens	Mistral
DeepSeek-V3 (DeepSeek)	671B (MoE, 37B actifs)	~14 800 milliards de tokens	DeepSeek
Gemma 3 (Google)	1B – 27B	non déclaré	Google
gpt-oss (OpenAI)	20B – 120B (MoE)	non déclaré	OpenAI, licence Apache 2.0

Deux lectures qui comptent. Premier : les poids ouverts ne viennent pas d'un seul lab français — Meta, Mistral, Google, DeepSeek et depuis 2025 OpenAI elle-même publient des modèles téléchargeables. Second : les capacités « globales » viennent de corpus multilingues et multiculturels — c'est pour ça qu'un modèle de 8B parle correctement français et italien malgré des données majoritairement anglaises.

Combien de données faut-il vraiment ?

Le pré-entraînement des modèles importants se mesure en milliers de milliards de tokens : Llama 3 a déclaré environ 15 000 milliards pour la famille 8B-405B, DeepSeek-V3 environ 14 800 milliards. Un millier de milliards de tokens, c'est environ 700 milliards de mots, soit l'ordre de grandeur de « tout le texte public d'internet, relu quelques fois ». Il n'existe pas de moyen pour un utilisateur seul de faire ça : il faut des clusters avec des milliers de GPU pendant des mois. Le beau, c'est que ça ne vous sert à rien : le travail sale est déjà fait, et le fichier que vous téléchargez depuis Ollama ou Hugging Face est le résultat final.

Ce qui se passe quand vous posez une question

Quand vous écrivez une phrase, votre matériel fait une chose très concrète : des multiplications et des sommes sur les poids, token par token. Chaque token généré exige un passage complet de vos données d'entrée à travers les matrices du modèle. Pour un 7B quantifié en 4 bits il faut environ 4,5 Go de RAM ; pour un 70B en 4 bits environ 40 Go. La RAM est le goulot d'étranglement, pas la puissance de calcul — GGUF, le format qui fait tenir les modèles sur votre matériel explique la quantification en détail.

Et les limites ?

Honnêtement, parce qu'elles le méritent.

• Savoir figé au moment de l'entraînement. Le modèle ne « sait pas » ce qui s'est passé après le cut-off de son corpus. Ce n'est pas une limite de réseau : c'est le prix de posséder le modèle.
• La quantification coûte quelque chose. Un 7B en 4 bits est plus rapide et plus léger que le modèle en pleine précision, mais sur des tâches subtiles la différence se voit.
• Les cas complexes restent du côté des frontier. Raisonnement en plusieurs étapes, contextes très longs, tâches multimodales : ici les modèles frontier (ChatGPT, Claude, Gemini) sont encore devant. La comparaison honnête frontier vs local mesure où la différence compte vraiment.

En synthèse

L'IA locale ne se raccroche pas à internet pour « prendre des capacités globales » : elle les a absorbées une seule fois, pendant le pré-entraînement, sur des données en grande partie publiques, et elle les exécute entièrement sur votre matériel. « Poids ouverts » n'est pas synonyme de « données ouvertes », les modèles viennent de beaucoup de labs (Meta, Mistral, DeepSeek, Google, et depuis 2025 OpenAI aussi), et votre seul travail est de télécharger le fichier, choisir la quantification juste et lancer les calculs. La question qui compte n'est pas d'où viennent les capacités, mais ce que vous en faites avec des données qui ne quittent jamais votre machine.

Sources

• Llama 3: Herd of Models (arXiv 2310.06825)
• Mistral 7B (arXiv 2401.04088)
• DeepSeek-V3 (arXiv 2407.21783)
• gpt-oss Technical Report (arXiv 2412.19437)
• OpenAI gpt-oss-120b — model card
• DeepSeek-V3 — Hugging Face

Article généré par IA