Skip to content

模型优化平台 (AIMO) 用户指南

简介

AI Model Optimizer (AIMO) 是一个基于Web端的可交互的AI模型部署优化平台,旨在帮助用户能够在边缘端芯片上快速迁移、部署和运行各种机器学习模型。AIMO能够将其他主流框架模型格式转换成tflite、ONNX、DLC等多种模型格式。

AIMO 有两种部署方式:

AIMO 集成了各种模型转换工具,简化了转换流程,方便用户零代码、低成本的完成模型转换。另外,针对高通平台,为了提高模型转换成功率,AIMO 内置了额外的算子库。对于带有 UDO 算子的模型需要配合 AidLite SDK 推理引擎一起使用 (详情请参考AidLite SDK 开发者文档)

使用方法

AIMO使用流程图见下图:

步骤一:上传模型

先选择源模型格式,然后将模型拖拽或点击上传至 AIMO

正确的操作之后页面如下图所示,描述 会根据模型文件名自动补充,开发者可以自行编辑修改

步骤二:选择目标平台

第二步需要选择目标平台,当开发者选择 硬件平台 中的选项时,右侧的 芯片型号 会出现已支持的型号,如下图:

💡注意

芯片型号 为可选项,不是必选项,有明确的硬件型号 AIMO 能针对硬件更好的进行模型优化

步骤三:参数设置

根据源模型格式,模型优化界面会包含:

  • 网络简化 (Network Simplifying):简化源模型为 ONNX 模型的网络结构,源模型为 ONNX 时才存在该选项
  • 自动截断 (Auto Cut Off):可以根据网络类型自动截断模型,适用于具有固定截断方式的模型
  • 自动量化选项 (Auto Quantization):目前仅针对部分源模型格式
  • 自定义优化选项 (Customize Mode)

💡注意

AIMO 会根据自动量化策略进行模型自动量化优化,这也是 AIMO 推荐的量化方式,适合新手使用

步骤四:下载模型

等待模型转换完成后即可下载模型。

模型优化转换时间可能瞬间完成 (十几秒内),也可能几天,这取决于优化量化设置。

转换失败

转换失败时,执行日志会打印失败日志。开发者可以根据失败日志判断原因

开发者也可以查阅常见问题来定位问题

转换案例

Model Farm 包含了大量的通过 AIMO 转换的适配高通平台的模型,开发者可以在模型详情页面查看 AIMO 的转换步骤参考。

以 YOLOv5s INT8 为例:

  • 访问 Model Farm

  • 登录开发者账号

  • 搜索 YOLOv5s

  • 进入模型详情页面——点击右侧性能参考中的 模型转换参考 按钮