Shuu12121 / CodeMorph-BERT

CodeMorph-BERT

CodeMorph-BERT は、CodeSearchNet の Python コードデータを用いて ゼロから 訓練した CodeBERT モデルです。
コード補完、関数名予測、マスクされたトークンの予測に最適化されています。

🔗 Colab で試す

📌 このモデルの詳細な使い方や実行手順は、こちらの Jupyter Notebook で確認できます。

モデルの詳細

• ベースモデル : なし（ゼロから CodeBERT を学習）
• データセット : CodeSearchNet (Python サブセット)
• トレーニング目的 : Masked Language Modeling (MLM)
• トークナイザー : WordPiece トークナイザー（Python コード向けに訓練）

💡 使用方法

Hugging Face Transformers を用いた推論

CodeMorph-BERT は transformers ライブラリで簡単に使用できます。

from transformers import AutoModelForMaskedLM, AutoTokenizer
import torch

# モデルとトークナイザーのロード
model_name = "Shuu12121/CodeMorph-BERT"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForMaskedLM.from_pretrained(model_name)

# 入力コード（[MASK] を含む）
text = "def add(a, b): return a [MASK] b"

# トークナイズ
inputs = tokenizer(text, return_tensors="pt")

# 推論実行
with torch.no_grad():
    outputs = model(**inputs)
    logits = outputs.logits

# マスク位置のトークンを予測
mask_token_index = torch.where(inputs.input_ids == tokenizer.mask_token_id)[1]
predicted_token_id = logits[0, mask_token_index, :].argmax(axis=-1)
predicted_token = tokenizer.decode(predicted_token_id)

print("予測されたトークン:", predicted_token)