Sponsored by
Vmake Labs Video Enhancer
Lyon28 / caca-500m
Model's Last Updated: December 09 2025
text-generation
Introduction of caca-500m
Model Details of caca-500m
CACA-500M (368M Parameters)
🔢 Total Parameters: 368,264,192 (0.37B)
Arsitektur Caca
📋 Deskripsi Model
Ini adalah arsitektur transformer kustom dengan kombinasi unik dari teknik-teknik modern:
- Grouped Query Attention (GQA) - Balance antara kecepatan dan kualitas
- RoPE (Rotary Positional Embeddings) - Positional encoding yang proven
- SwiGLU Activation - Performa lebih baik dari ReLU/GELU
- RMSNorm - Lebih efisien dari LayerNorm
- Sliding Window Attention - Efisiensi untuk context panjang
🔧 Spesifikasi Teknis
| Parameter | Nilai |
|---|---|
| Total Parameters | ~0.37B |
| Vocab Size | 100,000 |
| Hidden Size | 1024 |
| Layers | 24 |
| Attention Heads | 16 |
| KV Heads | 4 |
| Context Length | 8,192 tokens |
| Sliding Window | 4,096 tokens |
⚠️ Status: Untrained (Bobot Random)
Model ini adalah arsitektur kosong dengan bobot random.
Artinya:
- ❌ Tidak bisa digunakan langsung untuk inference
- ❌ Tidak memiliki pengetahuan atau kemampuan apapun
- ✅ Siap untuk di-pretrain dengan data Anda sendiri
- ✅ Dapat digunakan sebagai baseline penelitian
🚀 Cara Menggunakan
Install Dependencies
pip install torch transformers safetensors
Load Model
import torch
from safetensors.torch import load_file
# Load config
import json
with open("config.json") as f:
config = json.load(f)
# Load weights
state_dict = load_file("model.safetensors")
print(f"Total parameters: 368,264,192")
💡 Use Cases
Model ini cocok untuk:
- 🔬 Penelitian - Eksperimen dengan arsitektur transformer
- 🎓 Edukasi - Belajar cara kerja LLM dari nol
- 🏗️ Custom Pretraining - Pretrain dengan data domain-spesifik Anda
- 🧪 Benchmarking - Baseline untuk perbandingan arsitektur
📚 Dokumentasi Arsitektur
Grouped Query Attention (GQA)
GQA mengurangi jumlah key-value heads sambil mempertahankan performa, menghasilkan:
- Inference lebih cepat
- Memory usage lebih rendah
- Kualitas output tetap baik
RoPE (Rotary Positional Embeddings)
Metode encoding posisi yang:
- Lebih baik dalam extrapolation ke sequence panjang
- Tidak memerlukan learned parameters tambahan
- Proven di berbagai model modern (LLaMA, GPT-NeoX)
SwiGLU Activation
Variant dari GLU yang memberikan:
- Performa lebih baik dalam language modeling
- Digunakan di LLaMA, PaLM, dan model-model SOTA
📄 Lisensi
Apache 2.0 - Bebas digunakan untuk tujuan komersial dan penelitian.
🤝 Kontribusi
Kontribusi, issues, dan feature requests sangat diterima!
👨💻 Author
Lyon
- Hugging Face: @Lyon28
📌 Citation
Jika Anda menggunakan arsitektur ini dalam penelitian, mohon cite:
@misc{caca2025,
author = {Lyon},
title = {Caca: Custom Transformer Architecture},
year = {2025},
publisher = {Hugging Face},
howpublished = {\url{https://huggingface.co/Lyon28/caca-500m}},
}
🔗 Links
Catatan: Ini adalah model untrained. Untuk penggunaan production, Anda perlu melakukan pretraining terlebih dahulu dengan dataset yang sesuai.
Runs of Lyon28 caca-500m on huggingface.co
123
Total runs
0
24-hour runs
20
3-day runs
36
7-day runs
123
30-day runs
More Information About caca-500m huggingface.co Model
Url of caca-500m
caca-500m huggingface.co Url
Provider of caca-500m huggingface.co
Other API from Lyon28
Total runs:
172
Run Growth:
172
Growth Rate:
100.00%
Total runs:
66
Run Growth:
66
Growth Rate:
100.00%
Total runs:
45
Run Growth:
45
Growth Rate:
100.00%
Total runs:
33
Run Growth:
33
Growth Rate:
100.00%
Total runs:
28
Run Growth:
18
Growth Rate:
64.29%
Total runs:
18
Run Growth:
18
Growth Rate:
100.00%
Total runs:
15
Run Growth:
-1.0K
Growth Rate:
-6713.33%
Total runs:
10
Run Growth:
-17
Growth Rate:
-170.00%
Total runs:
5
Run Growth:
-6
Growth Rate:
-120.00%
Total runs:
1
Run Growth:
1
Growth Rate:
100.00%