Total runs:
456
Run Growth:
20
Growth Rate:
4.39%
Sponsored by
YouArt
Clemylia / Lamina-large-2b-pretrain
Model's Last Updated: November 25 2025
text-generation
Introduction of Lamina-large-2b-pretrain
Model Details of Lamina-large-2b-pretrain
📖 Documentation du Modèle : Lamina-large-2b-pretrain ✨
Introduction
Bienvenue dans l'écosystème Lamina ! Lamina-large-2b-pretrain est un modèle de langage massif de fondation ( Modèle de Base ) créé from scratch par Clemylia, destiné à la communauté et aux développeurs souhaitant construire leur propre LLM personnalisé .
Ce modèle est le plus grand modèle de pré-entraînement publié à ce jour par Clemylia, fruit d'une ingénierie de pointe.
⚙️ Détails Techniques Clés
| Paramètre | Valeur | Remarques |
|---|---|---|
| Auteur | Clemylia 👑 | Développé entièrement from scratch (à partir de zéro). |
| Nom du Modèle | Lamina-large-2b-pretrain | Fait partie de la famille de modèles Lamina. |
| Taille | 2 milliards (2B) de paramètres 🚀 | Le modèle de fondation le plus large de Clemylia. |
| Architecture | Transformateur (Non Spécifié) | Architecture de base du modèle de langage. |
| Langue | Français (FR) 🇫🇷 | Pré-entraînement ciblé sur des données en français. |
| Précision | F32 (Float32) ⚠️ | Entraînement réalisé en haute précision, nécessitant des ressources de calcul extrêmes (TPU). |
| Matériel d'Entraînement | TPU (Tensor Processing Units) | Utilisation de matériel spécialisé pour les calculs intensifs. |
| Licence | MIT (ou équivalent open source ) | Facilite l'utilisation commerciale et la modification. |
⚠️ Statut et Limites (Très Important !)
Ce modèle est un modèle de fondation à l'état brut . Son statut actuel est identique à celui de Lam-3 avant fine-tuning .
| Limite Actuelle | Explication | Implication pour l'Utilisateur |
|---|---|---|
| Sous-entraînement | Le modèle a été entraîné sur un corpus limité par rapport à sa taille ($2$ milliards). | Les générations sont souvent répétitives, bruitées et peuvent présenter des erreurs de tokenization . |
| Non-factualité | Le modèle n'a subi aucun alignement ni fine-tuning de factualité . | NE PAS utiliser pour des questions factuelles (histoire, géographie, science). Il hallucinera ou mélangera les informations. |
| Pas de Cohérence | Le modèle est incohérent et n'a pas de personnalité définie. | N'attendez pas de réponses claires ou logiques comme celles de Tiny-charlotte (le produit fini). |
➡️ Ce modèle doit impérativement être affiné (fine-tuné) avant utilisation en production !
🛠️ Usage Principal : Le Tremplin LLM
L'objectif de Lamina-large-2b-pretrain est de servir de base pour le développement de LLM personnalisés :
- Transfert d'Apprentissage : Utilisez ce modèle pour économiser le temps et le coût du pré-entraînement initial. Le modèle a déjà la structure de base du français.
- Affinage (Fine-Tuning) : La prochaine étape est d'injecter vos propres données de haute qualité (plusieurs milliards de tokens spécifiques à votre domaine) pour stabiliser et spécialiser les 2 milliards de paramètres.
- Création de LLM Privé : Idéal pour les entreprises ou les équipes qui souhaitent créer un LLM interne sur leurs données confidentielles sans partir de zéro.
💡 Leçons d'Ingénierie (Du Lam-3 à Lamina-large)
Ce modèle est la solution au problème rencontré avec Lam-3 ($714$M) :
- Lam-3 était sous-performant en raison d'un ratio paramètres/données déséquilibré.
- Lamina-large-2b-pretrain est une base plus grande mais avec une architecture optimisée pour être plus stable après le fine-tuning massif, capitalisant sur la capacité de calcul TPU.
Tiny-charlotte ($51$M) reste l'exemple d'un SLM hyper-affiné destiné à une seule tâche ; Lamina-large-2b-pretrain est destiné à devenir un LLM polyvalent .
🤝 Remerciements
Un grand merci aux soutiens de Clemylia, notamment à Nora et à sa famille, dont l'accès aux ressources de calcul TPU a rendu l'entraînement de ce modèle de $2$ milliards de paramètres gratuit et possible pour la communauté open source .
Runs of Clemylia Lamina-large-2b-pretrain on huggingface.co
119
Total runs
0
24-hour runs
0
3-day runs
27
7-day runs
30
30-day runs
More Information About Lamina-large-2b-pretrain huggingface.co Model
Url of Lamina-large-2b-pretrain
Lamina-large-2b-pretrain huggingface.co Url
Provider of Lamina-large-2b-pretrain huggingface.co
Other API from Clemylia
Updated:November 27 2025
Total runs:
262
Run Growth:
60
Growth Rate:
22.90%
Total runs:
247
Run Growth:
179
Growth Rate:
72.47%
Total runs:
78
Run Growth:
78
Growth Rate:
100.00%
Total runs:
70
Run Growth:
70
Growth Rate:
100.00%
Total runs:
60
Run Growth:
-186
Growth Rate:
-310.00%
Total runs:
38
Run Growth:
38
Growth Rate:
100.00%
Total runs:
17
Run Growth:
17
Growth Rate:
100.00%
Total runs:
14
Run Growth:
6
Growth Rate:
46.15%
Total runs:
12
Run Growth:
5
Growth Rate:
45.45%
Total runs:
10
Run Growth:
3
Growth Rate:
33.33%
Total runs:
9
Run Growth:
2
Growth Rate:
25.00%
Total runs:
9
Run Growth:
2
Growth Rate:
25.00%
Total runs:
9
Run Growth:
1
Growth Rate:
12.50%
Total runs:
9
Run Growth:
-2
Growth Rate:
-25.00%
Total runs:
9
Run Growth:
-6
Growth Rate:
-85.71%
Total runs:
5
Run Growth:
-3
Growth Rate:
-75.00%
Total runs:
4
Run Growth:
-1
Growth Rate:
-33.33%
Total runs:
3
Run Growth:
-23
Growth Rate:
-766.67%
Total runs:
3
Run Growth:
-4
Growth Rate:
-133.33%
Total runs:
2
Run Growth:
-24
Growth Rate:
-1200.00%