Shuu12121 / CodeSearch-ModernBERT-Owl-3.0-Plus

🦉　CodeModernBERT‑Owl 3.0 SentenceTransformer

多言語・長文コードを対象としたエンコーダ CodeModernBERT‑Owl 3.0 をベースに Sentence Transformer（STS）形式で微調整したモデルです。1024 token までのソースコード／自然言語を 768 次元の密ベクトルに写像し、コード検索・類似度計算・クラスタリングなど幅広い下流タスクに活用できます。

A multilingual, long‑context SentenceTransformer fine‑tuned from CodeModernBERT‑Owl 3.0 . It encodes code and natural‑language snippets (≤ 1024 tokens) into 768‑dimensional vectors for semantic search, similarity, clustering, and more.

🔥 ハイライト / Highlights

📊 評価結果 / Evaluation

MTEB　CodeSearchNet (CSN) ―

どちらも公式スコアに提出しているCodeSearch-ModernBERT-Crow-Plusと同等以上の成績を残しています.

🚀 使い方 / Quick Start

from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer("Shuu12121/CodeModernBERT-Owl-3.0-ST")

queries = ["get test root"]
docs = [
    "function getRootPath(){ … }",
    "protected Object parseKeyElement(Element keyEle, …)",
]

q_emb = model.encode(queries, normalize_embeddings=True)
d_emb = model.encode(docs,   normalize_embeddings=True)

scores = util.cos_sim(q_emb, d_emb)
print(scores)

🛠️ ファインチューニング / Fine‑tuning

• ロス関数 : MultipleNegativesRankingLoss はミニバッチ内のネガティブを暗黙的に構成するため大規模ペア生成が不要。

• ハイパーパラメータ (主要):

  learning_rate: 5e‑5
  per_device_train_batch_size: 200
  fp16: true
  warmup_ratio: 0.0
  max_grad_norm: 1.0
  

⚖️ ライセンス / License

Apache 2.0