Shuu12121 / CodeModernBERT-Snake

huggingface.co
Total runs: 6
24-hour runs: 0
7-day runs: 0
30-day runs: -3
Model's Last Updated: Bước đều 22 2025
sentence-similarity

Introduction of CodeModernBERT-Snake

Model Details of CodeModernBERT-Snake

CodeModernBERT-Snake🐍

コード検索と理解を強化する軽量・長シーケンス対応モデル

概要

CodeModernBERT-Snake🐍は、コード検索やコードクローン検出を手軽に行えるよう設計された軽量モデルです。
モデルサイズが従来の約半分(76Mパラメータ)に削減されているため、学習コストが大幅に低減しました。
また、最大シーケンス長を8192トークンに拡張し、長大なコードや複雑な関数にも対応できるようになっています。

主な用途:

  • コード検索
  • コード理解
  • コードクローン検出

データセット: CodeSearchNet (全言語)
ライセンス: Apache 2.0


主な特徴
  • 最大シーケンス長8192トークン対応
    長大なコードや複雑な関数にも対応可能です。(従来モデルは512トークン対応)

  • モデルサイズを約半分に削減
    CodeModernBERT-Owl(152Mパラメータ)に比べて約半分(76Mパラメータ)まで軽量化。
    メモリ効率が向上し、推論速度も改善されました。


モデルパラメータ
パラメータ名 設定値
vocab_size 50004
hidden_size 512
num_hidden_layers 12
num_attention_heads 8
intermediate_size 2048
max_position_embeddings 8192
type_vocab_size 2
hidden_dropout_prob 0.1
attention_probs_dropout_prob 0.1
local_attention_window 128
rope_theta 160000
local_attention_rope_theta 10000

実験結果
学習方法

単純なMLM(マスク付き言語モデル)学習後、継続学習を実施し、以下の評価結果を得ました。 学習用データセット: CodeSearchNet (Train) 比較用データセット: code_x_glue_ct_code_to_text (Test)
評価指標: MRR, R-Precision(プールサイズ100)

MLM学習後
言語 MRR R-Precision
Python 0.4216 0.2960
Java 0.4211 0.3000
JavaScript 0.2753 0.1710
PHP 0.4642 0.3330
Ruby 0.2637 0.1530
Go 0.4410 0.2800
継続学習後
言語 MRR R-Precision
Python 0.7553 0.6730
Java 0.7660 0.6890
JavaScript 0.5934 0.4870
PHP 0.7766 0.7030
Ruby 0.6056 0.5020
Go 0.8323 0.7550
考察

継続学習後のモデルでは、すべての言語で0.2以上のMRRおよびR-Precisionの向上が確認できました。
特にPython、Java、PHP、Goにおける精度向上が顕著であり、従来のモデルに追随するレベルに達しています。


注意点

最大シーケンス長8192トークンに対応していますが、8192トークンまでの学習を特別に行ったわけではないため、
2048トークンを超えた入力では精度が低下する可能性があります。モデルサイズを削減する過程で対応範囲を拡張しましたが、
あくまでオプションとしての対応と捉えてください。ご了承ください。


最後に

CodeModernBERT-Snake🐍は、コード検索や理解のコストを削減しながら高い精度を実現することを目指して設計されました。
軽量で長大なコードも処理できるため、多くのユースケースで役立つモデルです。
ぜひ活用してみてください!

Runs of Shuu12121 CodeModernBERT-Snake on huggingface.co

6
Total runs
0
24-hour runs
0
3-day runs
0
7-day runs
-3
30-day runs

More Information About CodeModernBERT-Snake huggingface.co Model

More CodeModernBERT-Snake license Visit here:

https://choosealicense.com/licenses/apache-2.0

CodeModernBERT-Snake huggingface.co

CodeModernBERT-Snake huggingface.co is an AI model on huggingface.co that provides CodeModernBERT-Snake's model effect (), which can be used instantly with this Shuu12121 CodeModernBERT-Snake model. huggingface.co supports a free trial of the CodeModernBERT-Snake model, and also provides paid use of the CodeModernBERT-Snake. Support call CodeModernBERT-Snake model through api, including Node.js, Python, http.

CodeModernBERT-Snake huggingface.co Url

https://huggingface.co/Shuu12121/CodeModernBERT-Snake

Shuu12121 CodeModernBERT-Snake online free

CodeModernBERT-Snake huggingface.co is an online trial and call api platform, which integrates CodeModernBERT-Snake's modeling effects, including api services, and provides a free online trial of CodeModernBERT-Snake, you can try CodeModernBERT-Snake online for free by clicking the link below.

Shuu12121 CodeModernBERT-Snake online free url in huggingface.co:

https://huggingface.co/Shuu12121/CodeModernBERT-Snake

CodeModernBERT-Snake install

CodeModernBERT-Snake is an open source model from GitHub that offers a free installation service, and any user can find CodeModernBERT-Snake on GitHub to install. At the same time, huggingface.co provides the effect of CodeModernBERT-Snake install, users can directly use CodeModernBERT-Snake installed effect in huggingface.co for debugging and trial. It also supports api for free installation.

CodeModernBERT-Snake install url in huggingface.co:

https://huggingface.co/Shuu12121/CodeModernBERT-Snake

Url of CodeModernBERT-Snake

CodeModernBERT-Snake huggingface.co Url

Provider of CodeModernBERT-Snake huggingface.co

Shuu12121
ORGANIZATIONS

Other API from Shuu12121