Shuu12121 / CodeModernBERT-Crow

CodeModernBERT-Crow 🐦‍⬛

High-performance encoder for multilingual code search and understanding
開発者: Shuu12121
License: Apache-2.0

🔍 概要 / Overview

CodeModernBERT-Crow は、関数レベルのコード理解およびコード検索に特化したエンコーダモデルです。
ベースには ModernBERT を採用し、長文コードへの高いスケーラビリティを持ちます。

This model is designed for efficient and accurate function-level code retrieval across multiple programming languages, extending ModernBERT for code intelligence tasks.

🌟 特徴 / Key Features

• 対応言語：Python, Java, JavaScript, PHP, Ruby, Go, Rust
• 重複除去済みの高品質データセットを使用（CodeSearchNet の test split 除外済）
• CodeModernBERT-Crow-Pre から継続学習により高性能を実現
• 最大 8192 トークンの入力長に対応（学習時は 2048 トークンで調整）

📐 モデル仕様 / Model Architecture

🧪 評価結果 / Evaluation

CodeSearchNet Test Split（MRR@100）に基づいた比較評価：

評価方法：100件の候補からランク付け（固定評価スクリプト使用）

🚀 使用方法 / How to Use

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("Shuu12121/CodeModernBERT-Crow")
model = AutoModel.from_pretrained("Shuu12121/CodeModernBERT-Crow")

コード埋め込みを取得する関数：

import torch

def get_embedding(text, model, tokenizer, device="cuda"):
    inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=256)
    if "token_type_ids" in inputs:
        inputs.pop("token_type_ids")
    inputs = {k: v.to(device) for k, v in inputs.items()}
    with torch.no_grad():
        outputs = model(**inputs)
        return outputs.last_hidden_state[:, 0, :]

🤝 関連モデル / Related Models

• CodeSearch-ModernBERT-Crow-Plus :
  本モデルをベースにした SentenceTransformer 形式のコード検索専用モデル

📬 お問い合わせ / Contact

質問・提案などは以下のメールアドレスへお気軽にご連絡ください：
📧 [email protected]