Shuu12121 / CodeMorph-ModernBERT

CodeMorph-ModernBERT (For Busy People)

CodeMorph-ModernBERT is a cutting-edge model specialized in code search and code understanding tasks.
It supports a maximum sequence length of 2048 tokens (compared to Microsoft's 512 tokens), and it delivers exceptional performance, especially for Python code search.

Key Features

• Long Sequence Support
  Capable of processing sequences up to 2048 tokens. This allows it to handle long code snippets and complex functions.

• High Code Search Accuracy
  Utilizes a SentencePiece-based tokenizer, developed for six languages including Python, achieving significantly better search precision than previous models.

• Purpose-Built Training
  Trained from scratch on the CodeSearchNet dataset, enabling deep understanding of code syntax and the relationship with comments.

Parameter Settings

CodeMorph-ModernBERT（忙しい人向け）

CodeMorph-ModernBERT は、コード検索およびコード理解タスクに特化した最新のモデルです。
最大シーケンス長2048トークン （従来のMicrosoftモデルは512トークン）に対応し、特にPythonコード検索において抜群の性能を発揮します。

主な特徴

• 長いシーケンス対応
  最大2048トークンのシーケンス処理が可能。長いコードや複雑な関数にも対応します。

• 高いコード検索性能
  Pythonをはじめとする6言語対応のSentencepieceを用いて作成したトークナイザを採用し、従来モデルを大幅に上回る検索精度を実現しています。

• 専用にトレーニングされたモデル
  CodeSearchNetデータセットを活用して1から学習。コード特有の文法やコメントとの関係を深く理解します。

パラメータについて

CodeMorph-ModernBERT is a pre-trained model specifically designed for code search and code understanding tasks. This model has been trained from scratch using the code-search-net/code_search_net dataset to enhance semantic comprehension of code.

• Architecture : ModernBERT-based
• Purpose : Code Search / Code Understanding / Code Completion
• Training Data : CodeSearchNet (All Languages)
• License : Apache 2.0

Features

• Trained from Scratch : Unlike traditional NLP models that rely on transfer learning, this model has been pre-trained specifically for code.
• Custom Tokenizer : A dedicated tokenizer was designed using the CodeSearchNet dataset to optimize code search capabilities.
• High-Precision Search Performance : Outperforms existing models such as CodeBERT and CodeT5 in search accuracy.

How to Use the Model

The model can be easily loaded using the Hugging Face Transformers library. ( Note: Only compatible with Transformers version 4.48.0 or later )

• Example usage available here

Loading the Model

from transformers import AutoModelForMaskedLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Shuu12121/CodeMorph-ModernBERT")
model = AutoModelForMaskedLM.from_pretrained("Shuu12121/CodeMorph-ModernBERT")

Masked Language Model (fill-mask)

from transformers import pipeline

fill_mask = pipeline("fill-mask", model=model, tokenizer=tokenizer)
print(fill_mask("def add_numbers(a, b): return a + [MASK]"))

Extracting Code Embeddings

import torch

def get_embedding(text, model, tokenizer, device="cuda"):
    inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=256)
    if "token_type_ids" in inputs:
        inputs.pop("token_type_ids")
    inputs = {k: v.to(device) for k, v in inputs.items()}
    outputs = model.model(**inputs)
    embedding = outputs.last_hidden_state[:, 0, :]
    return embedding

embedding = get_embedding("def my_function(): pass", model, tokenizer)
print(embedding.shape)

Dataset

This model has been trained using the code-search-net/code_search_net dataset, which contains code snippets from multiple programming languages (Python, Java, JavaScript, etc.), making it highly suitable for code search tasks.

Evaluation Results

The model was evaluated using the Python subset of the code_x_glue_ct_code_to_text dataset. Below are the key evaluation metrics: For more details on the experiment, refer to this link .

Comparison with Other Models

The table below compares CodeMorph-ModernBERT with other leading code search models:

CodeMorph-ModernBERT achieves significantly higher search accuracy compared to other CodeBERT and CodeT5 models.

License

This model is released under the Apache-2.0 license.

概要

CodeMorph-ModernBERT は、コード検索およびコード理解のタスク向けに１からトレーニングした事前学習済みモデルです。本モデルは code-search-net/code_search_net データセットを活用し、コードの意味的な理解を強化するために訓練されています。

• アーキテクチャ : ModernBERT ベース
• 目的 : コード検索 / コード理解 / コード補完
• トレーニングデータ : CodeSearchNet (全言語)
• ライセンス : Apache 2.0

特徴

• ゼロからの学習 : 一般的な NLP モデルの転移学習ではなく、コード特化の事前学習を行いました。
• カスタムトークナイザ : CodeSearchNet をもとにコード検索向けに独自にトークナイザを設計しました。
• 高精度の検索性能 : 既存の CodeBERT や CodeT5 と比較して優れた検索性能を発揮。

モデルの使用方法

Hugging Face Transformers ライブラリを利用して、本モデルを簡単にロードできます。（※ Transformers のバージョンは 4.48.0 以上のみ動作します）

• 簡単な動作例はこちらです

モデルのロード

from transformers import AutoModelForMaskedLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Shuu12121/CodeMorph-ModernBERT")
model = AutoModelForMaskedLM.from_pretrained("Shuu12121/CodeMorph-ModernBERT")

マスク補完 (fill-mask)

from transformers import pipeline

fill_mask = pipeline("fill-mask", model=model, tokenizer=tokenizer)
print(fill_mask("def add_numbers(a, b): return a + [MASK]"))

コード埋め込みの取得

import torch

def get_embedding(text, model, tokenizer, device="cuda"):
    inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=256)
    if "token_type_ids" in inputs:
        inputs.pop("token_type_ids")
    inputs = {k: v.to(device) for k, v in inputs.items()}
    outputs = model.model(**inputs)
    embedding = outputs.last_hidden_state[:, 0, :]
    return embedding

embedding = get_embedding("def my_function(): pass", model, tokenizer)
print(embedding.shape)

データセット

本モデルは code-search-net/code_search_net データセットを使用して訓練されました。このデータセットは、複数のプログラミング言語 (Python, Java, JavaScript など) に関するコードスニペットを含んでおり、コード検索タスクに最適です。

評価結果

本モデルは code_x_glue_ct_code_to_text データセットのPythonの部分を用いて評価されました。以下は主要な評価指標です。 また実験の詳細については こちら を確認してください。

他のモデルとの比較

以下は、CodeMorph-ModernBERT と他の主要なコード検索モデルの比較結果です。

Code Search モデル評価結果 (google/code_x_glue_tc_nl_code_search_adv データセット Test)

以下に、google/code_x_glue_tc_nl_code_search_adv データセット (Test) を使用した、各種Code Searchモデルの評価結果をまとめます。候補プールサイズは全て100です。 また追加実験のコードは こちら です

CodeMorph-ModernBERT は、他の CodeBERT や CodeT5 モデルと比較して、より高い検索精度を達成しています。

ライセンス

本モデルは Apache-2.0 ライセンスのもとで提供されます。