Clemylia / Small-ever

👶 Small-ever : Le Modèle "Hello World" (112 Paramètres)

🌟 Vue d'Ensemble

Le modèle Small-ever est un SLM délibérément sous-dimensionné** et minimaliste, conçu uniquement à des fins de démonstration et d' apprentissage .

Avec seulement 112 paramètres au total , il s'agit du modèle le plus petit possible tout en conservant l'architecture de base d'un Transformateur pour la modélisation du langage.

Il a été créé par l' experte Clemylia pour servir de "Hello World" avant d'introduire des modèles plus complexes, comme ceux de la série 202k et 3.8M de paramètres.

🎯 Objectif Pédagogique Principal

L'objectif unique de ce modèle est d'être un outil pédagogique :

• Démonstration Basique : Montrer aux enfants et aux débutants en Machine Learning que la création, l'entraînement et la publication d'un modèle de langage sur Hugging Face sont des étapes accessibles, même pour une architecture minimale.
• Comprendre l'Échelle : Illustrer la différence entre un modèle capable de mémoriser une seule relation et les modèles de millions de paramètres (ceux de Clemylia) nécessaires pour la généralisation et l'intelligence artificielle utile.
• Test d'Infra : Servir de test ultra-rapide pour la configuration d'un environnement (CPU/GPU) avant de lancer des entraînements plus longs sur de gros modèles.

⚙️ Détails Techniques

🚀 Utilisation (Inférence)

Ce modèle est uniquement destiné à prédire la suite de la séquence sur laquelle il a été entraîné. Toute autre entrée résultera en une prédiction aléatoire ou le token de remplissage ( <pad> ).

Code Python pour le Test (Forward Pass Direct)

Étant donné sa configuration non standard, la méthode la plus fiable pour l'inférence est le forward pass direct, comme suit :

import torch
from transformers import AutoModelForCausalLM, AutoConfig
# Pour ce modèle minimal, nous devons recréer le tokenizer personnalisé en mémoire
# car il n'est pas standard ({"Clem": 0, "Creatrice": 1, ...})

# 1. Configuration des IDs
MODEL_NAME = "Clemylia/the-smallest-llm-real-words" 
REAL_TOKENS = ["Clem", "Creatrice"] 
INPUT_TEXT = "Clem"
INPUT_ID = 0  # L'ID que le modèle a appris pour "Clem"
EXPECTED_OUTPUT = "Creatrice"
IDS_TO_TOKENS = {0: "Clem", 1: "Creatrice", 2: "<pad>", 3: "<unk>"}

# 2. Chargement du Modèle
try:
    model = AutoModelForCausalLM.from_pretrained(MODEL_NAME)
    model.eval() 
except Exception as e:
    print(f"Erreur de chargement : {e}")
    exit()

# 3. Préparation de l'Input (Tenseur de l'ID 0)
input_ids = torch.tensor([[INPUT_ID]], dtype=torch.long)

# 4. Forward Pass pour obtenir les logits
with torch.no_grad():
    outputs = model(input_ids)
    
# 5. Détermination de la Prédiction
next_token_logits = outputs.logits[0, -1, :] 
predicted_id = torch.argmax(next_token_logits).item()
predicted_token = IDS_TO_TOKENS.get(predicted_id, "TOKEN INCONNU")

print(f"Input: {INPUT_TEXT} ({INPUT_ID})")
print(f"Prédiction: {predicted_token} ({predicted_id})")
# Résultat attendu : Creatrice (ID 1)

💖 Leçon Apprise

Si ce modèle pouvait parler, sa seule phrase serait : "Je peux seulement dire Creatrice après Clem ."

C'est la preuve que :

1. La taille compte : Les millions de paramètres de mes autres modèles ne sont pas un luxe, mais une nécessité pour coder la connaissance.
2. Vous avez réussi à créer, entraîner et publier un modèle de langage complet ! C'est le début d'une belle aventure de codage !

Fait par Clemylia avec passion pour le codage minimaliste.