ayousanz / CuteTTS-jp

CuteTTS-jp

OPPOer/CuteTTS （約2億3千万パラメータ・24 kHz・ 逐次生成対応）を日本語 325.9 時間で継続学習したモデルです。

コードと学習手順: ayutaz/CuteTTS-jp

使い方

git clone https://github.com/ayutaz/CuteTTS-jp
cd CuteTTS-jp
uv sync --all-extras

hf download ayousanz/CuteTTS-jp --local-dir ./model/CuteTTS-jp

uv run python scripts/synthesize_japanese.py \
  --model-dir ./model/CuteTTS-jp \
  --text "こんにちは。今日はいい天気ですね。" \
  --reference-audio <まねたい声の録音> \
  --output out.wav

--frontend accent （全文を片仮名にし、アクセントの記号を付ける変換）とセットで 使ってください。 漢字のままのテキストを渡すと精度が大きく落ちます。 上のスクリプトは漢数字を仮名に開く変換なども含めて自動で行います。

抑揚を写す

同じ台詞を読んだ人間の録音 があれば、声の高さの動きを写せます（+0.104 改善）。

uv run python scripts/synthesize_japanese.py \
  --model-dir ./model/CuteTTS-jp \
  --text "..." \
  --reference-audio <声質をまねる録音> \
  --prosody-reference <同じ台詞を読んだ録音> \
  --output out.wav

--reference-audio （声質）と --prosody-reference （抑揚）は別物で、両方渡せます。 別の文の録音を渡すとアクセントが悪化します。

測った値

日常会話 600 文。

「人間の録音」は本物の音声を同じ手順（自動文字起こし → 比較）に通した値で、 測定側の誤差 です。これより良い値は出ません。

苦手なこと

• 抑揚とアクセントは人間に届いていません。 アクセントの山の位置が人間と 一致する割合は 43.6%（人間どうしなら 64.5%）
• 中国語は壊れています （文字誤り率 11.5% → 77.2%）。英語は無傷（単語誤り率 1.7%）
• 数字・日付・単位に弱いです。 学習データに数字を含む文が 1.3% しかありません
• 学習データはアニメ・ゲームの台詞なので、 朗読ではなく演技寄り の話し方になります

学習の条件

前処理済みデータを 2 GB ダウンロードすれば同じ学習を再現できます （ 手順 ）。

ライセンス

このモデル（重み）: CC BY-SA 4.0 — Copyright 2026 ayutaz

コード: Apache License 2.0 — ayutaz/CuteTTS-jp

出発点の CuteTTS （Copyright 2026 OPPO and Fudan University）は Apache License 2.0 です。

謝辞

CuteTTS / Descript Audio Codec / F5-TTS / Qwen3 / pyopenjtalk-plus