borekboissy / Millesime-2026-4b

Millésime 2026 — 4B

Millésime 2026 4B est un modèle de langue de 4 milliards de paramètres, spécialisé pour le français , construit à partir de Qwen/Qwen3-4B-Instruct-2507 .

Il obtient le meilleur score FR-MT-Bench de son panel d'évaluation , devant des modèles de 8B et 9B paramètres, et se place en tête des modèles 4B sur la moyenne des benchmarks français agrégés.

---

Philosophie du projet Millésime

Le projet Millésime repose sur trois principes :

1. L'excellence en langue française. Les modèles Millésime visent à surpasser les modèles de taille équivalente sur les principaux benchmarks francophones.
2. Une gamme complète, avec un accent sur les petits modèles. Le projet vise plusieurs tailles (1.7B, 4B, 14B, 32B). Un effort particulier est porté sur les SLM ( Small Language Models ), qui représentent une part importante des téléchargements sur Hugging Face et répondent à un besoin réel de modèles légers, exécutables localement.
3. Une chaîne de données propre. Les modèles Millésime ne sont entraînés que sur des données dont les conditions d'utilisation autorisent le fine-tuning . De nombreux projets s'appuient sur des corpus contenant des sorties de modèles dont les conditions d'utilisation interdisent explicitement cet usage ; les datasets du projet Millésime sont filtrés en amont pour écarter ces données.

---

Caractéristiques

---

Pipeline d'entraînement

Le modèle est le fruit d'un pipeline en trois phases :

Phase 1 — SFT. L'objectif était d'injecter un maximum de culture générale française : plus de 38 000 exemples répartis sur 14 catégories et 280 sous-catégories (histoire et culture, langue française, droit et administration, sciences, philosophie, raisonnement, écriture et style…), générés synthétiquement puis fact-checkés.

Phase 2 — DPO. Alignement sur des préférences humaines réelles issues de l'arène publique Compar:IA du ministère de la Culture, filtrées pour ne conserver que des paires exploitables (préférence nette, tour unique, français, modèles à licence permissive, ratio de longueur maîtrisé).

Phase 3 — Fusion TIES. Les deux modèles issus des phases 1 et 2 sont fusionnés par la méthode TIES , qui combine leurs apports respectifs — connaissances françaises d'un côté, alignement sur les préférences de l'autre — en limitant les interférences entre les deux jeux de deltas de poids.

---

Résultats

FR-MT-Bench

L'évaluation FR-MT-Bench a été réalisée avec GPT-5.6-Sol comme juge LLM . Pour limiter le risque de biais ou d'instabilité du juge, chaque modèle a été évalué deux fois, via deux fournisseurs d'API distincts (OpenAI et OpenRouter). Les deux classements sont strictement identiques, ce qui conforte la robustesse du résultat.

Millésime 2026 4B arrive premier du panel sur les deux évaluations, devant des modèles de 8B et 9B paramètres, et gagne environ +0.20 point sur son modèle de base.

Benchmarks académiques

Évaluations menées avec Lighteval (IFEval-fr, GPQA-fr) et lm-evaluation-harness (French Bench, Global-MMLU-fr).

La colonne « Moyenne » est une moyenne simple, non pondérée, de l'ensemble des métriques disponibles (y compris le détail par domaine de Global-MMLU-fr). Elle est indicative et ne doit pas être lue comme un score composite normalisé.

Lecture des résultats. Millésime 2026 4B est le meilleur modèle 4B du panel et devance également Lucie-7B. Il obtient le meilleur score IFEval-fr de tout le panel (69.1) , soit une nette avance sur le suivi d'instructions en français. Il reste devancé sur la moyenne globale par Ministral-3-8B (8B) et, très marginalement, par Qwen3.5-9B (9B) — deux modèles deux fois plus gros — principalement sur les tâches de connaissance pure (GPQA-fr, Global-MMLU-fr).

Protocole d'évaluation

Tous les modèles ont été évalués avec la chaîne de pensée désactivée ( non-thinking ). Plusieurs benchmarks imposent une limite de tokens en sortie que les modèles à raisonnement explicite consommaient parfois intégralement dans leur chaîne de réflexion, sans produire de réponse finale exploitable. Désactiver le raisonnement garantit une comparaison équitable entre tous les modèles du panel.

---

Empreinte carbone

L'empreinte de chaque phase d'entraînement a été mesurée avec la librairie Python CodeCarbon . Les relevés bruts sont disponibles dans le répertoire emissions/ de ce dépôt ( phase1.csv , phase2.csv , phase3.csv ).

Matériel utilisé : 4 × NVIDIA B200, Intel Xeon Platinum 8559C (192 cœurs), 1996 Go de RAM — instance cloud localisée aux États-Unis.

À titre de comparaison, l'entraînement complet de ce modèle représente une empreinte de l'ordre de celle d'une dizaine de kilomètres parcourus en voiture thermique. La fusion TIES (phase 3), en particulier, est quasi gratuite en énergie : elle ne nécessite aucun entraînement, seulement une combinaison arithmétique des poids.

---

Utilisation

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "borekboissy/Millesime-2026-4b"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype="auto",
    device_map="auto",
)

messages = [
    {"role": "user", "content": "Explique-moi l'origine de l'expression « tomber dans les pommes »."},
]

inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt",
).to(model.device)

outputs = model.generate(inputs, max_new_tokens=512, temperature=0.7, top_p=0.8)
print(tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True))

Le modèle fonctionne en mode non-thinking : il répond directement, sans chaîne de raisonnement explicite.

---

Limitations et axes d'amélioration

Ce modèle est une première itération, et plusieurs limites sont identifiées et assumées :

• Biais de longueur du dataset SFT. Le corpus Millesime-2026-SFT produit des réponses de longueur comparable qu'il s'agisse d'une question simple ou d'une question complexe. Le modèle a hérité de ce biais et peut se montrer inutilement verbeux sur des questions triviales. La refonte de ce dataset est le chantier prioritaire de la prochaine itération.
• Absence de raisonnement explicite. Les corpus d'entraînement ne contiennent aucune trace de chaîne de pensée ( thinking ) ; le modèle n'est pas conçu pour ce mode de fonctionnement.
• Absence de données de tool calling . Les corpus ne contiennent pas d'exemples d'appel d'outils ; les capacités natives du modèle de base sur ce point n'ont pas été renforcées et pourraient avoir été partiellement diluées par le fine-tuning.
• Connaissances pures. Sur les benchmarks de connaissance encyclopédique (GPQA-fr, Global-MMLU-fr), le modèle reste en retrait par rapport à des modèles deux fois plus gros — une limite structurelle liée à sa taille.
• Modèle de base. Tous les modèles « Millésime 2026 » reposent sur la famille Qwen3. Les itérations futures pourront s'appuyer sur des générations de modèles de base plus récentes.

Ces axes alimenteront un futur « Millésime 2027 » .

---

Licence et attributions

Ce modèle est distribué sous licence Apache 2.0 , en cohérence avec la licence du modèle de base Qwen3-4B-Instruct-2507 .

Les données de préférence utilisées en phase 2 sont dérivées du dataset Compar:IA Arena du ministère de la Culture (Etalab 2.0 / CC-BY-4.0), que nous remercions pour la mise à disposition de ce corpus de préférences francophones.

---

Citation

@misc{boissy2026millesime4b,
  author       = {Boissy, Borek},
  title        = {Millésime 2026 4B: A French-Specialized Small Language Model},
  year         = {2026},
  publisher    = {Hugging Face},
  howpublished = {\url{https://huggingface.co/borekboissy/Millesime-2026-4b}}
}

---

Auteur / Contact

Borek Boissy

• Hugging Face : huggingface.co/borekboissy
• LinkedIn : linkedin.com/in/borek-boissy-b15a393