MrMeOrYou / emma-5-GGUF

🇮🇹 Emma-5 (GGUF)

Premessa

Questo repository contiene una conversione in formato GGUF di eldavoo/emma-5 , realizzata con llama.cpp. È una versione non ufficiale , senza alcuna affiliazione con Egomnia S.p.A. Il file disponibile è emma-5-F32.gguf , una conversione GGUF in F32.

Esecuzione con llama.cpp

File

emma-5-F32.gguf : conversione in F32 (precisione piena), circa 2,3 GB.

Adattamenti rispetto al checkpoint ONNX

Per l'architettura llama di llama.cpp sono stati applicati due adattamenti:

• RoPE: le proiezioni Q e K sono permutate dal layout half-split (GPT-NeoX) al layout interleaved (GPT-J), come per i modelli LLaMA.
• Chat template: il formato di istruzione Alpaca italiano usato nell'SFT è incorporato nel file ( tokenizer.chat_template ).

Avvio rapido (chat)

Interattivo:

llama-cli -m emma-5-F32.gguf --jinja -ngl 99 -c 2048 -cnv

Con prompt diretto:

llama-cli -m emma-5-F32.gguf --jinja -ngl 99 -c 2048 -st -p "Qual è la capitale d'Italia?"

--jinja applica il chat template incorporato. -ngl 99 carica i layer in GPU (ometti per la sola CPU). -c 2048 è la context length massima del modello.

Formato del prompt

### Istruzione: <richiesta> ### Risposta:

Con --jinja viene applicato in automatico. Per il completamento grezzo, usa lo stesso formato su una sola riga.

Compatibilità con il runtime ONNX

Il runtime ONNX di riferimento campiona con temperature 0.7 , top-p 0.9 , top-k 40 . I default di llama.cpp sono diversi ( temp 0.8 , top-p 0.95 , min-p 0.05 ), quindi vanno impostati a mano, incluso --min-p 0 (assente nell'originale).

Il --repeat-penalty non va invece impostato: llama.cpp lo lascia già a 1.0 (nessuna penalità di ripetizione), esattamente come il runtime ONNX.

Chat (CLI):

llama-cli -m emma-5-F32.gguf --jinja -c 2048 -ngl 99 -cnv \
  --temp 0.7 --top-k 40 --top-p 0.9 --min-p 0

Server (API OpenAI-compatibile):

llama-server -m emma-5-F32.gguf --jinja -c 2048 -ngl 99 \
  --temp 0.7 --top-k 40 --top-p 0.9 --min-p 0

Per un output deterministico e riproducibile usa invece --temp 0 (greedy); non corrisponde al comportamento di default del runtime ONNX.

Nota sul tokenizer

Il tokenizer SentencePiece originale normalizza i ritorni a capo ( nmt_nfkc , remove_extra_whitespaces ), mentre il tokenizer di llama.cpp non lo fa. Per evitare differenze nella tokenizzazione usa --jinja , oppure, nei prompt grezzi, spazi singoli al posto dei caratteri di a capo.

Nota sul multi-turno

Emma è stata addestrata (SFT) su singoli turni istruzione/risposta, quindi è affidabile a turno singolo. In conversazioni a più turni la qualità cala e l'output dipende da come viene ricostruita la cronologia del contesto. Per risultati fedeli conviene inviare una istruzione completa per ogni richiesta.

---

Overview

Emma-5 è un Large Language Model decoder-only sperimentale sviluppato da Egomnia S.p.A. , progettato per lingua italiana.

Sito ufficiale: https://emma.egomnia.com

Il modello è pensato per:

• comprensione contestuale moderata
• generazione di contenuti di media complessità

Non è progettato per applicazioni safety-critical o reasoning avanzato multi-step.

Architettura

• Tipo: GPT decoder-only
• Transformer blocks: 28
• Hidden size: 1.280
• Attention heads: 16 query + 4 KV (GQA 4:1)
• Head dimension: 80
• Feed-forward dimension: 3.456 (SwiGLU, ff_mult 8/3)
• Activation function: SwiGLU
• Normalization: RMSNorm
• Positional encoding: RoPE (theta 10.000)
• Dropout: 0.0
• Embeddings: tied (token embedding = lm_head)

Contesto e vocabolario

• Context length: 2.048 token
• Vocabulary size: 50.000 token
• Tokenizer: SentencePiece BPE con byte fallback

Dataset di training

• Codice: 40,48%
• Generalista: 39,46%
• Enciclopedico: 15,68%
• Libri: 3,07%
• Colloquiale: 0,73%
• Politico: 0,55%

Training pipeline

• Pretraining: 200.000 step
• Fine-tuning: SFT (3 epoche)
• DPO: disabilitato
• Corpus pretraining: 54,36 GB raw (~10,8 miliardi token)

Export e ottimizzazione

• Framework originale: PyTorch
• Export: ONNX
• Opset: 18
• Quantizzazione: INT8
• Peso modello ONNX: 2,46 GB (FP32)
• Peso quantizzato INT8: ~560 MB

Uso previsto

Emma-5 è progettato per:

• piccoli chatbot aziendali per PMI
• piccole automazioni
• generazione contenuti moderatamente complessi

Uso non previsto

• applicazioni mediche, legali o finanziarie critiche
• sistemi ad alta affidabilità o mission critical
• reasoning complesso multi-step
• ricerca scientifica avanzata senza supervisione

Focus prestazionale

Il modello è ottimizzato per:

• equilibrio tra qualità e latenza
• inference su CPU/GPU entry-level
• contesti leggeri
• generazione coerente su testi strutturati

Limitazioni

• capacità di reasoning ancora limitata rispetto a modelli di grandi dimensioni
• possibile generazione di contenuti imprecisi o incompleti
• sensibilità a prompt ambigui o molto lunghi
• contesto limitato a 2.048 token

Licenza

Distribuito sotto licenza OpenRAIL-M , con eventuali vincoli derivati dalle licenze dei dataset utilizzati. Questa licenza consente l’uso, la modifica e la distribuzione del modello anche in ambito commerciale, imponendo tuttavia restrizioni sull’utilizzo in scenari potenzialmente dannosi, illegali o non etici, secondo i principi di Responsible AI e nel rispetto delle eventuali restrizioni derivanti dalle licenze dei dataset utilizzati. Si richiede esprezzamente di citare Egomnia S.p.A. come autore del modello in caso di utilizzo di quest'ultimo per prodotti, servizi, pubblicazioni o documentazione tecnica.

Autore

Egomnia S.p.A.

Sito ufficiale

https://emma.egomnia.com

Manifesto di Emma — LLM italiano per la sovranità tecnologica

Per la sovranità tecnologica italiana

Noi crediamo che l’intelligenza artificiale non sia soltanto una tecnologia, ma un’infrastruttura critica per il futuro economico, culturale e democratico di una nazione.

Per troppo tempo, i modelli linguistici che plasmano informazione, lavoro e conoscenza sono stati sviluppati altrove, secondo logiche, valori e priorità non sempre allineate con il contesto italiano ed europeo.

I nostri modelli nascono per cambiare questo paradigma. Non è solo il lancio di un nuovo modello, ma una presa di posizione chiara: rilanciare un ecosistema italiano dell’intelligenza artificiale, capace di essere autonomo, competitivo e coerente con le esigenze del nostro Paese.

La famiglia dei LLM "Emma" è anche il risultato di un lavoro costruito nel tempo. Il modello è stato addestrato utilizzando, in parte, dataset proprietari realizzati e custoditi per anni, mai ceduti a terzi. Un patrimonio informativo unico, che siamo convinti possa diventare nel tempo il nostro vero elemento distintivo rispetto ai grandi attori globali.

Oggi non abbiamo la presunzione di competere con i nomi che guidano il settore: Emma rappresenta un primo passo, concreto ma ancora iniziale, all'interno di un percorso di crescita e innovazione che intendiamo sviluppare negli anni a venire.

Questa non è solo innovazione tecnologica. È una scelta di indipendenza. È una visione industriale.

È il nostro contributo.

Dedicato a mia figlia, Emma.

Matteo Achilli
Fondatore di Egomnia

Note

Italian GPT: Emma-5 rappresenta un modello di nuova generazione della famiglia Emma, bilanciando efficienza e capacità generativa per applicazioni enterprise leggere nel contesto italiano.

---

Inference (ONNX Runtime)

import onnxruntime as ort

session = onnxruntime.InferenceSession("model.onnx")

outputs = session.run(
    None,
    {
        "input_ids": input_ids,
        "attention_mask": attention_mask
    }
)