Shuu12121 / CodeSearch-ModernBERT-Crow-Plus-1.0

Shuu12121/CodeSearch-ModernBERT-Crow-Plus-1.0 🐦‍⬛

このモデルは、 Shuu12121/CodeModernBERT-Crow をベースにした Sentence Transformer モデルであり、 PHPとGoのクリーン版データセット を新たに加えることで、さらに高精度な多言語コード検索を実現しています。
本バージョン（1.0）では、前バージョン ( Crow-Plus ) に対して若干の性能向上が確認されています。

This is an enhanced version of CodeSearch-ModernBERT-Crow-Plus , based on CodeModernBERT-Crow , incorporating clean PHP and Go datasets for improved multilingual code search performance.

開発者 (Developer): Shuu12121
ベースモデル (Base Model): Shuu12121/CodeModernBERT-Crow
ライセンス (License): Apache-2.0

📊 評価 / Evaluation

本モデルは、内部評価として MTEB (Massive Text Embedding Benchmark) 相当の環境でテストされ、
前バージョンよりもさらに高い精度を達成しています。

CodeSearchNetRetrieval (標準版) 成績

詳細スコア（抜粋）：

• ndcg_at_1 : 0.8175
• ndcg_at_3 : 0.8810
• ndcg_at_5 : 0.8888
• recall_at_20 : 0.9672
• recall_at_100 : 0.9807
• recall_at_1000 : 1.0

前バージョン ( Crow-Plus ) 比較で nDCG@10 がわずかに向上（+0.17pt）しており、より安定した高リコールが得られています。

COIRCodeSearchNetRetrieval 成績

詳細スコア（抜粋）：

• ndcg_at_1 : 0.7168
• ndcg_at_3 : 0.7775
• ndcg_at_5 : 0.7896
• recall_at_20 : 0.9057
• recall_at_100 : 0.9495
• recall_at_1000 : 0.9782

こちらも、従来版より全体的に Recall 向上がみられ、特に Top-20、Top-100段階での検索精度に安定性が出ています。

モデル変更点 / Improvements

• MTEB公式には提出していないため、 非公式記録 です。

使い方 / How to Use

従来と同様に、 sentence-transformers ライブラリを用いて簡単に利用可能です。 （※詳しい使用例はベース版に準じますので省略）

from sentence_transformers import SentenceTransformer
model = SentenceTransformer("Shuu12121/CodeSearch-ModernBERT-Crow-Plus-1.0")

注意事項 / Limitations

• 関数レベルのコード検索に最適化されており、巨大なファイルや不完全コードには注意が必要です。
• クリーン版追加による改善はあくまで「一般傾向」であり、特定ドメインにおいては追加チューニングが効果的な場合もあります。
• 本バージョンの結果はMTEB公式には提出されていないため、 あくまで参考記録 である点にご留意ください。

連絡先 / Contact

ご質問・フィードバックは、開発者 Shuu12121 までご連絡ください。
📧 [email protected]