江苏龙网

  1. 主页 > 生活百科 > >

轻量级的深度神经网络推理引擎MNN

神经网络

MNN是一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测 。目前，MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷等20多个App中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景 。此外，IoT等场景下也有若干应用 。
整体特点
轻量性

  • 针对端侧设备特点深度定制和裁剪，无任何依赖，可以方便地部署到移动设备和各种嵌入式设备中 。
  • IOS平台：armv7+arm64静态库大小5MB左右，链接生成可执行文件增加大小620KB左右，metallib文件600KB左右 。
  • Android平台：so大小400KB左右，OpenCL库400KB左右，Vulkan库400KB左右 。
通用性
  • 支持Tensorflow、Caffe、ONNX等主流模型文件格式，支持CNN、RNN、GAN等常用网络 。
  • 支持86个TensorflowOp、34个CaffeOp；各计算设备支持的MNN Op数：CPU 71个，Metal 55个，OpenCL 29个，Vulkan 31个 。
  • 支持iOS 8.0+、Android 4.3+和具有POSIX接口的嵌入式设备 。
  • 支持异构设备混合计算，目前支持CPU和GPU，可以动态导入GPU Op插件，替代CPU Op的实现 。
高性能
  • 不依赖任何第三方计算库，依靠大量手写汇编实现核心运算，充分发挥ARM CPU的算力 。
  • iOS设备上可以开启GPU加速（Metal），常用模型上快于苹果原生的CoreML 。
  • Android上提供了OpenCL、Vulkan、OpenGL三套方案，尽可能多地满足设备需求，针对主流GPU（Adreno和Mali）做了深度调优 。
  • 卷积、转置卷积算法高效稳定，对于任意形状的卷积均能高效运行，广泛运用了 Winograd 卷积算法，对3x3 -> 7x7之类的对称卷积有高效的实现 。
  • 针对ARM v8.2的新架构额外作了优化，新设备可利用半精度计算的特性进一步提速 。

轻量级的深度神经网络推理引擎MNN

文章插图
 
易用性
  • 有高效的图像处理模块，覆盖常见的形变、转换等需求，一般情况下，无需额外引入libyuv或opencv库处理图像 。
  • 支持回调机制，可以在网络运行中插入回调，提取数据或者控制运行走向 。
  • 支持只运行网络中的一部分，或者指定CPU和GPU间并行运行 。
架构设计
轻量级的深度神经网络推理引擎MNN

文章插图
 
MNN可以分为Converter和Interpreter两部分 。
Converter由Frontends和Graph Optimize构成 。前者负责支持不同的训练框架，MNN当前支持Tensorflow(Lite)、Caffe和ONNX(PyTorch/MXNet的模型可先转为ONNX模型再转到MNN)；后者通过算子融合、算子替代、布局调整等方式优化图 。
Interpreter由Engine和Backends构成 。前者负责模型的加载、计算图的调度；后者包含各计算设备下的内存分配、Op实现 。在Engine和Backends中，MNN应用了多种优化方案，包括在卷积和反卷积中应用Winograd算法、在矩阵乘法中应用Strassen算法、低精度计算、Neon优化、手写汇编、多线程优化、内存复用、异构计算等 。
轻量级的深度神经网络推理引擎MNN

文章插图
 
用法
轻量级的深度神经网络推理引擎MNN

文章插图
 
如上图所示，在端侧应用MNN，大致可以分为三个阶段：
  • 训练
在训练框架上，根据训练数据训练出模型的阶段 。虽然当前MNN也提供了训练模型的能力，但主要用于端侧训练或模型调优 。在数据量较大时，依然建议使用成熟的训练框架，如TensorFlow、PyTorch等 。除了自行训练外，也可以直接利用开源的预训练模型 。
  • 转换
将其他训练框架模型转换为MNN模型的阶段 。MNN当前支持Tensorflow(Lite)、Caffe和ONNX的模型转换 。模型转换工具可以参考编译文档和使用说明 。支持转换的算子，可以参考算子列表文档；在遇到不支持的算子时，可以尝试自定义算子，或在Github上给我们提交issue 。
此外，模型打印工具可以用于输出模型结构，辅助调试 。
除模型转换外，MNN也提供了模型量化工具，可以对浮点模型进行量化压缩 。
  • 推理
在端侧加载MNN模型进行推理的阶段 。端侧运行库的编译请参考各平台的编译文档：iOS、Android、linux/macOS/Ubuntu、windows 。我们提供了API接口文档，也详细说明了会话创建、数据输入、执行推理、数据输出相关的接口和参数 。
此外，测试工具和benchmark工具也可以用于问题定位 。

【轻量级的深度神经网络推理引擎MNN】


推荐阅读


上一篇：洛阳靠什么成为十三朝古都的 洛阳是几朝古都

下一篇：用PS给证件照进行美化