Shuu12121 / CodeModernBERT-Owl-2.0-Pre

🦉 Shuu12121/CodeModernBERT-Owl-2.0-Pre

CodeModernBERT-Owl-2.0-Pre は、マルチリンガルなコード理解・検索に対応した CodeModernBERT-Owl 系列の最新事前学習モデルです。

本モデルは、 CodeBERT（Feng et al., 2020）で使用されたバイモーダル学習データの約4倍 に相当する、 全て独自収集・構築した高品質なコーパス のみに基づいて事前学習を行っています。 前バージョン（ CodeModernBERT-Owl-1.0 ）と比較しても、 約2倍のデータ量 で学習されており、よりリッチな構文・意味情報を学習しています。

今回新たに、これまで対応していた 7言語（Python, Java, JavaScript, PHP, Ruby, Go, Rust）に加えて、TypeScript を新たにコーパスに加え、より幅広いコード言語に対応しました。

また、 最大2048トークンまでの長文コードを学習データとして使用 しており、 推論時には最大8192トークンまでの入力 を処理可能です（Position Embeddingは拡張済み）。

さらに、以下のような 独自の前処理・フィルタリング処理 を組み合わせることで、ノイズを除去し、学習の効率と精度を最大化しています：

• Tree-sitter に基づく構文解析による関数・docstringの厳密な抽出
• 英語以外のdocstringや、意味のない定型文コメントの除去
• APIキーやシークレット情報の検出・自動マスキング
• ライセンス情報を含む関数の除外
• 関数・docstringペアの重複除去（データリーク対策）

基本情報

• 対応言語: Python, Java, JavaScript, PHP, Ruby, Go, Rust, TypeScript
• 学習時の最大トークン長: 2048
• 推論時の最大トークン長: 8192（拡張済み）
• トークナイザ: 独自に学習したBPEベース
• モデルサイズ: 約150Mパラメータ（ModernBERTベース）

主な用途例:

• 関数レベルのコード検索（自然言語→コード）
• コード補完、要約、分類、コードクローン検出などの下流タスク
• Retrieval-Augmented Generation（RAG）のためのコード検索基盤

English　ver

CodeModernBERT-Owl-2.0-Pre is the latest pretrained model in the CodeModernBERT-Owl series for multilingual code understanding and retrieval.

This model was trained entirely on a custom-built high-quality corpus , approximately 4 times larger than the bimodal dataset used in CodeBERT (Feng et al., 2020) . Compared to the previous version ( CodeModernBERT-Owl-1.0 ), it has been trained on twice the amount of data , capturing more structural and semantic patterns.

I also newly added TypeScript to the previously supported 7 languages (Python, Java, JavaScript, PHP, Ruby, Go, Rust), further broadening the model’s applicability.

The model was trained on inputs up to 2048 tokens , and supports inference up to 8192 tokens thanks to extended positional embeddings.

A set of custom preprocessing and filtering steps was applied to ensure data quality and training stability:

• Precise function and docstring extraction via Tree-sitter -based parsing
• Removal of non-English or templated comments
• Automatic masking of API keys and secrets
• Exclusion of license-related content
• Deduplication of code/docstring pairs to prevent data leakage

• Supported Languages: Python, Java, JavaScript, PHP, Ruby, Go, Rust, TypeScript
• Max Training Sequence Length: 2048 tokens
• Max Inference Sequence Length: 8192 tokens (positionally extended)
• Tokenizer: Custom-trained BPE
• Model Size: ~150M parameters (ModernBERT backbone)

Primary Use Cases:

• Function-level code search (natural language → code)
• Tasks such as code summarization, completion, classification, and clone detection
• High-quality retrieval for RAG (Retrieval-Augmented Generation) systems