AXERA-TECH / moss-tts-nano

板端专用预编译包 : 本仓库仅包含 AXMODEL 与 SDK, 需在 AX650 (NPU3) + axengine 上运行。 x86 开发机调试/复现请使用 GitHub 源码包 (含 codec ONNX 与 model_convert)。

MOSS-TTS-Nano-100M 中文语音合成 (AX650 / NPU3)

基于复旦大学 OpenMOSS 团队的 MOSS-TTS-Nano-100M （Apache-2.0），在爱芯 AX650（NPU3）上部署的 中文优先语音合成包。模型仅 0.1B 参数 ，输出 48kHz 双声道 中文语音。

• 100M 自回归 LLM：板端 CPU 运行（PyTorch fp32，原权重，中文合成质量与官方一致）
• NPU3 加速选件: global decode/local 已编译为 AXMODEL (约 4 倍 LLM 加速), 见 reports/
• 音频 codec 解码器（MOSS-Audio-Tokenizer-Nano）：编译为 AXMODEL，运行在 NPU3 （默认，快 2.6 倍）；也可选 FP32 ONNX（参考级精度，cosine=1.0）
• 内置中文参考音色（zh_1.wav），voice-clone 模式合成，无需额外录制

快速开始（两步）

bash setup.sh      # 安装依赖（约几分钟）
bash run.sh        # 合成中文语音到 out.wav

目录结构

models/
  llm/                 # 100M TTS-LLM 权重与运行时代码（CPU）
  codec/               # codec 解码器 AXMODEL/ONNX + 查表权重 + 参考音色
python/                # Python SDK（推荐）
cpp/                   # C++ codec 解码器 SDK（AX Engine 直连）
model_convert/         # 可复现的导出/编译脚本（ONNX + Pulsar2）
reports/               # 导出/编译/仿真/性能报告

更多用法

# 自定义中文文本（支持长文本自动分句）
python python/demo.py --model-dir models \
  --text "今天天气真好，我们一起去公园散步吧。" \
  --out my_voice.wav

# 板上使用 NPU 解码 (provider=axengine 自动优先)
python python/demo.py --model-dir models --provider axengine

性能与限制

• 生成速度：CPU LLM 约 10-13 帧/秒（12.5 帧/秒即实时），codec 解码在 NPU3
• 输出格式：48kHz / 双声道 / 16-bit PCM WAV
• 语言：中文最优（内置 zh 参考音色），也支持官方 20 种语言
• 长文本：SDK 自动按句切分并保留参考音色
• 已知限制：AXMODEL 为混合精度（全部计算 FP32 + LayerNorm S16），波形与 FP32 参考的 cosine 相似度 0.952±0.019（见 reports/simulate_report.md）；需要参考级精度时用 --provider onnxruntime （板端 CPU 约慢 2.6 倍）

许可证

模型与代码遵循 Apache-2.0（OpenMOSS-Team）。商业使用请查阅上游许可证。