Mattimax / DACMini_135M

🧠 Mattimax/DACMini_135M

Descrizione :
Mattimax/DACMini_135M è un modello linguistico italiano di 135 milioni di parametri, progettato per compiti di dialogo, domande e risposte, e assistenza conversazionale. È stato addestrato su un dataset combinato di alta qualità, comprendente dati da SHP, Stambecco, Everyday Conversations e QA-ita-200k.

🧬 Architettura

• Tipo di modello : Causal Language Model (LM)
• Parametri : 135 milioni
• Base : HuggingFaceTB/SmolLM-135M-Instruct
• Precisione : Addestrato in bfloat16
• Tokenizzazione : Tokenizer compatibile con GPT-2
• Lunghezza massima sequenza : 512 token

📦 Dataset di Addestramento

Il modello è stato addestrato su un dataset combinato, creato unendo i seguenti dataset:

• SHP (SHP-Partial-IT) : Conversazioni tra assistente e utente.
• Stambecco : Istruzioni con o senza input aggiuntivo.
• Everyday Conversations ITA : Conversazioni quotidiane.
• QA-ita-200k : Domande e risposte in italiano.

Il dataset combinato è stato filtrato per rimuovere esempi con valori nulli o vuoti.

⚙️ Addestramento

• Framework : Hugging Face Transformers
• Ottimizzatore : AdamW
• Batch size : 8 (train e eval)
• Accumulazione gradienti : 4
• Epochs : 3
• Learning rate : 2e-4
• Valutazione : Ogni 500 passi
• Salvataggio : Ogni 500 passi
• Limitazione salvataggi : 2 modelli

🚀 Utilizzo

Caricamento del Modello

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Mattimax/DACMini_135M")
model = AutoModelForCausalLM.from_pretrained("Mattimax/DACMini_135M")

Esempio di Generazione

input_text = "Ciao, come posso aiutarti oggi?"
inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(**inputs)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

📄 Licenza

• Licenza : MIT
• Uso commerciale : Consentito

📚 Citazioni

Se utilizzi questo modello in un progetto o ricerca, cita come segue:

@misc{mattimax2025dacmini,
  author = {Mattimax},
  title = {DACMini\_135M: Modello linguistico italiano di 135M parametri},
  year = {2025},
  url = {https://huggingface.co/Mattimax/DACMini_135M}
}

🧾 Note

• Lingua : Italiano, Inglese
• Tipo di modello : LM causale
• Applicazioni : Chatbot, assistenti virtuali, generazione di testo
• Compatibilità : Hugging Face Transformers