传统机器学习推理 , 通常假设推理发生在单一设备(云或边或端)上 。问题在于 , 对于端边设备 , 算力相对较小 , 资源受限 , 大模型跑不了 , 准确度有限 , 对于移动设备还要考虑功率续航;云侧算力够了 , 但是时延太大 , 数据隐私也有顾虑 。因此 , 近年一些端边云协同的分布式推理模式被提出:
- 网络切割(Segmentation of DL Models ) :将DL模型在云、边、端间进行切分 , 协同推理 , 平衡计算资源、网络时延、设备能耗和数据隐私等条件 。
- 早退网络(Early Exit of Inference , EEoI) :有时被称为“多出口网络” 。与网络切割类似 , 也会将DL模型在云边端间切分 , 协同推理 , 不同点在于DL模型有多个出口 , 能够直接在端或边退出 , 给出推理结果 。
由于端边的资源有限 , 对于模型 , 特别是深度模型的压缩和优化变得更重要 。这也是业界的重要研究方向 , 一方面设计研发专用的神经网络芯片加速模型推理 , 另一方面提出量化、剪枝、蒸馏等“软”技术 。
隐私与安全一方面用户担心数据隐私 , 不愿意将数据传出边缘节点 。通常是在边侧对数据进行基于AI的敏感数据识别和脱敏预处理;第2类技术是多方计算MPC , 允许在数据不传送出边缘的情况下 , 进行某些数据的统计和处理;第3种是同态加密 , 在边缘对数据进行加密后 , 在云上对加密数据直接进行同态运算 , 计算结果在边缘进行解密 。
另一方面 , 公有云提供商部署AI应用到边缘时 , 担心IP被不当使用 , 除了传统的应用license机制 , 近来流行的研究技术还包括模型水印 , 或者将AI应用运行到可信执行环境(TEE)中 。
边缘AI领域是个新兴的方向 , 以上只列出了部分行业和部分关键技术 , 并非全部 。例如行业上 , 联网无人机、移动医疗等场景也是很与5G&边缘&AI结合紧密的未来行业;从技术上 , 随着业界研究的深入 , 将有更多技术涌现 。本文主旨是分享关于边缘AI的一些个人观点 , 抛砖引玉 , 与大家共同讨论 。
推荐阅读
- 荔枝红茶的由来和功效
- 5G商用、AI成熟,“非接触式”风口能否因疫情加速到来?
- 如何网上挂号、缴费、查报告 网上预约挂号怎么操作
- 猪肚阴米粥
- 奶汤鲫鱼的做法
- 醋椒鲈鱼汤的做法
- 为什么喝绿茶、电脑旁边放个仙人掌,能防止电脑辐射?[绿茶]
- 球形茶叶是什么茶?
- 预约|240万人参与!i茅台App公布申购结果:25499人成功、约100人中一瓶
- 固态硬盘如何装系统
