端侧 RAG 应用 Demo
介绍
端侧 RAG 应用 Demo 是基于 AidGen 和 AidGenSE 构建的一个结合大模型 + 向量数据库的应用，其交互方式为网页交互，所有的程序均在本地运行。
支持情况
硬件支持情况
目前该 Demo 仅支持高通硬件设备
| QCS8550 | 7+ Gen 3 | 8 Gen 2 | |
|---|---|---|---|
| Linux | ✅ | ❌ | ❌ |
| Android | ✅ | ✅ | ✅ |
💡注意
目前在 Android 中部署该 Demo 需要通过 AidLux 融合系统
向量知识库支持情况
| Embedding Model | |
|---|---|
| 特斯拉使用手册 | BAII/bge-large-zh-v1.5 |
| 汽车维修手册 | BAII/bge-large-zh-v1.5 |
安装部署
安装 AidLux APP（Linux 设备可以跳过此步骤）
该 AidLux APP 是一个精简最小化版的应用，请联系阿加犀技术支持获取安装
大模型环境部署
💡注意
Android 环境需要在 AidLux APP 中操作。在 AidLux APP 的命令行中执行下面操作。 用户也可以通过拷屏方式在电脑端访问安卓界面进行操作，具体请参考常见问题——拷屏安卓设备
bash
# ----------------------工具安装---------------------- #
# 下载aidllm工具
wget http://117.176.129.180:65323/llm/install/v2/aidllm_1.2.0_arm64.aid.gpg
# 安装aidllm
sudo aid-pkg -i -d aidllm_1.2.0_arm64.aid.gpg
# 安装 API 服务
sudo aidllm install api
# ----------------------支持的模型查询---------------------- #
sudo aidllm remote-list
# 输出内容如下
Current Soc : 8550
Name Url CreateTime
----- --------- ---------
aplux_deepseekr1-1.5B aplux/aplux_deepseekr1-1.5B 2025-03-05 14:51:23
aplux_qwen2-1.5B aplux/aplux_qwen2-1.5B 2025-03-05 14:52:03
aplux_qwen2-7B aplux/aplux_qwen2-7B 2025-03-05 14:52:37
aplux_qwen2.5-3B aplux/aplux_qwen2.5-3B 2025-03-05 14:52:23
aplux_qwen2-0.5B aplux/aplux_qwen2-0.5B 2025-03-05 14:51:40
# ----------------------下载并查看对应模型---------------------- #
# e.g. 拉取 qwen2-7B模型：sudo aidllm pull aplux/aplux_qwen2-7B
sudo aidllm pull <Url>
# 查看本地已下载的模型
sudo aidllm listbash
# ----------------------工具安装---------------------- #
# AidLux APP 已经预装了 aidllm 工具
# 安装 API 服务
sudo aidllm install api
# ----------------------支持的模型查询---------------------- #
sudo aidllm remote-list
# 输出内容如下
Current Soc : 8550
Name Url CreateTime
----- --------- ---------
aplux_deepseekr1-1.5B aplux/aplux_deepseekr1-1.5B 2025-03-05 14:51:23
aplux_qwen2-1.5B aplux/aplux_qwen2-1.5B 2025-03-05 14:52:03
aplux_qwen2-7B aplux/aplux_qwen2-7B 2025-03-05 14:52:37
aplux_qwen2.5-3B aplux/aplux_qwen2.5-3B 2025-03-05 14:52:23
aplux_qwen2-0.5B aplux/aplux_qwen2-0.5B 2025-03-05 14:51:40
# ----------------------下载并查看对应模型---------------------- #
# e.g. 拉取 qwen2-7B模型：sudo aidllm pull aplux/aplux_qwen2-7B
sudo aidllm pull <Url>
# 查看本地已下载的模型
sudo aidllm listUI 服务部署
💡注意
Android 环境需要 AidLux APP 并通过 IP:8000 端口访问 Linux 环境，在Linux环境中执行以下操作
bash
# 安装 UI 前端
sudo aidllm install uiRAG 服务部署
安装 RAG 服务
bash
sudo aidllm install rag查看向量知识库资源清单
bash
sudo aidllm rag remote-list
# 输出内容如下
Current Soc : 8550
Name EmbeddingModel CreateTime
----- --------- ---------
tesla BAII/bge-large-zh-v1.5 2025-04-14 09:59:43
mechanical BAII/bge-large-zh-v1.5 2025-04-14 09:59:43- telse：表示特斯拉使用手册知识库
- mechanical：表示汽车维修手册知识库
向量知识库下载
bash
# 下载对应知识库，e.g. sudo aidllm rag pull tesla
sudo aidllm rag pull <name>
# 查看本地已下载的知识库
sudo aidllm rag list启动应用
启动大模型 API 服务
bash
# 当提示 Api server start successfully，表示 API 启动成功
sudo aidllm api start
# 当本地存在多个模型时，可以指定模型启动，e.g. sudo aidllm api start -m aplux_qwen2.5-3B
sudo aidllm api start -m <model_name>- 查询状态：
sudo aidllm api status - 停止服务：
sudo aidllm api stop - 重启服务：
sudo aidllm api restart
启动 UI 服务器
bash
# 当提示 UI server start successfully，表示 UI 服务启动成功
sudo aidllm ui start- 查询状态：
sudo aidllm ui status - 停止服务：
sudo aidllm ui stop
启动 RAG 服务
bash
sudo aidllm rag start
# 当本地存在多个知识库文件，则可以指定知识库启动。 e.g. sudo aidllm rag start -n tesla
sudo aidllm rag start -n <name>- 查询状态：
sudo aidllm rag status - 停止服务：
sudo aidllm rag stop
访问 Demo 网页
使用浏览器访问网址：http://ip:51104/ 可以看到如下界面：
💡注意
IP 地址为硬件设备的 IP 地址
设置 Demo 自启动
bash
sudo cp /opt/aidlux/cpf/aidllm/scripts/start_llm.sh /etc/aidlux/
# 重启系统即可bash
# 编辑 .bashrc 文件
vi /root/.bashrc
# 文件末尾追加如下指令
bash /opt/aidlux/cpf/aidllm/scripts/and_start_llm.sh
# 保存并重启 aidlux app 即可