Lyon28 / caca-50m

---

CACA-50M (84M Parameters)

🔢 Total Parameters: 84,439,552 (0.08B)

Arsitektur Caca

📋 Deskripsi Model

Ini adalah arsitektur transformer kustom dengan kombinasi unik dari teknik-teknik modern:

• Grouped Query Attention (GQA) - Balance antara kecepatan dan kualitas
• RoPE (Rotary Positional Embeddings) - Positional encoding yang proven
• SwiGLU Activation - Performa lebih baik dari ReLU/GELU
• RMSNorm - Lebih efisien dari LayerNorm
• Sliding Window Attention - Efisiensi untuk context panjang

🔧 Spesifikasi Teknis

⚠️ Status: Untrained (Bobot Random)

Model ini adalah arsitektur kosong dengan bobot random.

Artinya:

• ❌ Tidak bisa digunakan langsung untuk inference
• ❌ Tidak memiliki pengetahuan atau kemampuan apapun
• ✅ Siap untuk di-pretrain dengan data Anda sendiri
• ✅ Dapat digunakan sebagai baseline penelitian

🚀 Cara Menggunakan

Install Dependencies

pip install torch transformers safetensors

Load Model

import torch
from safetensors.torch import load_file

# Load config
import json
with open("config.json") as f:
    config = json.load(f)

# Load weights
state_dict = load_file("model.safetensors")

print(f"Total parameters: 84,439,552")

💡 Use Cases

Model ini cocok untuk:

• 🔬 Penelitian - Eksperimen dengan arsitektur transformer
• 🎓 Edukasi - Belajar cara kerja LLM dari nol
• 🏗️ Custom Pretraining - Pretrain dengan data domain-spesifik Anda
• 🧪 Benchmarking - Baseline untuk perbandingan arsitektur

📚 Dokumentasi Arsitektur

Grouped Query Attention (GQA)

GQA mengurangi jumlah key-value heads sambil mempertahankan performa, menghasilkan:

• Inference lebih cepat
• Memory usage lebih rendah
• Kualitas output tetap baik

RoPE (Rotary Positional Embeddings)

Metode encoding posisi yang:

• Lebih baik dalam extrapolation ke sequence panjang
• Tidak memerlukan learned parameters tambahan
• Proven di berbagai model modern (LLaMA, GPT-NeoX)

SwiGLU Activation

Variant dari GLU yang memberikan:

• Performa lebih baik dalam language modeling
• Digunakan di LLaMA, PaLM, dan model-model SOTA

📄 Lisensi

Apache 2.0 - Bebas digunakan untuk tujuan komersial dan penelitian.

🤝 Kontribusi

Kontribusi, issues, dan feature requests sangat diterima!

👨‍💻 Author

Lyon

• Hugging Face: @Lyon28

📌 Citation

Jika Anda menggunakan arsitektur ini dalam penelitian, mohon cite:

@misc{caca2025,
  author = {Lyon},
  title = {Caca: Custom Transformer Architecture},
  year = {2025},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/Lyon28/caca-50m}},
}

🔗 Links

• Model Hub

---

Catatan: Ini adalah model untrained. Untuk penggunaan production, Anda perlu melakukan pretraining terlebih dahulu dengan dataset yang sesuai.