AidVoice SDK

简介

AidVoice SDK 是阿加犀推出的专门针对语音类模型的 AI 推理 SDK，旨在简化开发者开发基于端侧 AI 技术的语音处理核心功能，灵活快速的集成到智能应用中。SDK 提供了统一高效的 API，支持业界领先的语音处理 AI 模型，可满足不同业务场景需求。

支持情况

操作系统支持情况

	Linux	Android
C++	✅	／
Python	🚧	／
Java	／	✅

ASR 模型支持情况

Whisper-Base-en	SenseVoiceSmall	Whisper-tiny	Whisper-small	Whisper-medium
✅	✅	✅	✅	✅

TTS 模型支持情况

MeloTTS-Chinese	MeloTTS-English
✅	✅

✅：已支持 🚧：计划支持

SDK for Linux

快速开始

安装

# 安装AidLite QNN 2.36版本
sudo aid-pkg update
sudo aid-pkg install aidlite-sdk
sudo aid-pkg install aidlite-qnn236

# 安装 AidVoice SDK
sudo aid-pkg -i aidvoice-sdk

模型获取

通过 mms 工具获取对应模型，以 SenseVoiceSmall 为例子

mms list sensevoicesmall

#------------------------可以看到 SenseVoiceSmall 模型------------------------
Model            Precision  Chipset           Backend
-----            ---------  -------           -------
SenseVoiceSmall  W8A16      Qualcomm QCS8550  QNN2.31
SenseVoiceSmall  FP16       Qualcomm QCS8550  QNN2.31
SenseVoiceSmall  W8A16      Qualcomm QCS6490  QNN2.31

# 下载 SenseVoiceSmall
mms get -m SenseVoiceSmall -p fp16 -c qcs8550 -b qnn2.31 -d /home/aidlux/sensevoicesmall

开发流程图

ASR

TTS

例子

更多案例请参考 案例中心

ASR：在 QCS8550 Linux 系统中识别音频文件

安装 AidVoice SDK

# 安装AidLite QNN 2.36版本
sudo aid-pkg update
sudo aid-pkg install aidlite-sdk
sudo aid-pkg install aidlite-qnn236

# 安装 AidVoice SDK
sudo aid-pkg -i aidvoice-sdk

模型获取

# 获取 Whisper-small

mms get -m Whisper-small -p fp16 -c qcs8550 -b qnn2.31 -d /home/aidlux/whisper-small

cd /home/aidlux/whisper-small
unzip whisper-small_qcs8550_qnn2.31_fp16_aidlite.zip

测试代码编译

# 拷贝测试代码
cp -r /usr/local/share/aidvoice/examples /home/aidlux/aidvoice

# 编译
cd /home/aidlux/aidvoice/asr/cpp/
mkdir -p build && cd build
cmake ..
make

运行例子

# -m 模型路径   
# -a 音频路径，有默认值可不传
./test_asr -m /home/aidlux/whisper-small/model_farm_whisper-small_qcs8550_qnn2.31_fp16_aidlite/models

TTS：在 QCS8550 Linux 系统中文字转语音

安装 AidVoice SDK

# 安装AidLite QNN 2.36版本
sudo aid-pkg update
sudo aid-pkg install aidlite-sdk
sudo aid-pkg install aidlite-qnn236

# 安装 AidVoice SDK
sudo aid-pkg -i aidvoice-sdk

模型获取

# 获取 MeloTTS-English

mms get -m MeloTTS-English -p fp16 -c qcs8550 -b qnn2.31 -d /home/aidlux/melotts-english

cd /home/aidlux/melotts-english
unzip melotts_en_woman_qcs8550_qnn231_fp16_aidlite.zip

测试代码编译

# 拷贝测试代码
cp -r /usr/local/share/aidvoice/examples /home/aidlux/aidvoice

# 编译
cd /home/aidlux/aidvoice/tts/cpp/
mkdir -p build && cd build
cmake ..
make

运行例子

cd /home/aidlux/aidvoice/tts/cpp/build
./test_tts -m /home/aidlux/melotts-english/model_farm_melotts_en_woman_qcs8550_qnn231_fp16_aidlite/models

音频文件会在当前目录下生成。

SDK for Android (TBD)