AI 与边缘计算结合的双向优化( 二 ) _AI

文章插图

数据协同
边缘AI会处理用户的数据，可以从两个维度来考虑。
一方面，横向考虑，边缘的网络环境多种多样，终端用户设备具有移动性，可能会从一个服务节点移动到另一个服务节点，从一个边缘移动到另一个边缘，从WiFi切换为5G移动网络，甚至从一个运营商切换到另一个运营商，那么用户在旧的环境中产生的数据如何与新环境中的AI程序进行同步会成为一个问题。这里的数据协同不仅需要技术上的支持，更需要商业模式上的支持。
另一方面，纵向考虑，如下图所示，用户在边缘侧产生的数据按照隐私级别可以分为不同类型，如User-Private、Edge-Private、Public等，这些数据可以自下而上分层储存在云边协同系统中的不同层级的数据库中，同时也可以对应不同算力支持的边缘AI的访问权限，例如可以允许云上运行的AI程序读取Public数据来训练一个通用的模型，在边缘侧的AI可以读取Edge-Private数据来在通用模型的基础上训练边缘模型等等。

文章插图

算力协同
通过合理的模型拆解，将不同的服务模型根据资源、成本、质量、时延等要求部署在合适的位置。通过完成的协同计算框架，确保各子模型之间的协同处理。比如结合产品设计，我们可以将简单的识别推理全部置于端侧设备，如需要判断视频中的物体属于动物还是植物等。
但是进一步的识别功能，我们可以结合边缘侧的推理能力，识别动物为猫科动物或犬科动物等。如果用户需要更加精细的识别，我们可以将边缘侧的识别结果及处理之后得到的特征数据发送至云端，结合云端完善的数据模型和知识体系，将该猫科动物判定为是东北虎还是华南虎。这样通过端、边、云三者的协同，能够在极大保证用户体验的同时，合理的使用各类资源。
合理利用算力协同，也能够做到在边缘侧进行训练。目前工业界还没有成熟的模式，但学术界有相关的研究。如下图所示的ICE智能协同计算框架，将边缘AI的训练分为三个阶段：

第一阶段为预训练阶段（pre-train），云上的应用可以通过读取云端存储的公共数据，来训练一个通用的模型，这是边缘AI的底座，如果没有云端强大算力的帮助，只靠边缘侧算力是难以得到比云端训练更优秀的AI模型。
第二阶段将通用模型下发至边缘侧，读取边缘私有数据，通过转移学习（Transfer Learning），来得到边缘模型。
第三阶段读取增量数据，利用增量学习（Incremental Learning）生成最终边缘模型，这个最终边缘模型就可以用于用户侧的推理了。

这种三步学习的算力协同的模式，可以更好地满足边缘智能的个性化服务需求。

文章插图

通过资源协同、算力协同以及数据协同，边缘智能能够高效合理的利用端、边、云的各类资源，极大地优化AI应用在边缘计算场景下的用户体验，进一步放大AI应用的商业价值。
03边缘计算AI计算框架
在云数据中心中，算法执行框架更多地执行模型训练任务，在训练过程中需要接收大规模、批量化的信息数据，比较关注训练的迭代速度和收敛率等。而在边缘设备上更多的是执行预测任务，输入一般是实时的小规模数据，大多数场景下执行预测任务，因此更加关注于预测算法执行速度及端侧或边缘侧的资源开销。
目前业界针对边缘计算场景，也提出了针对性的设计方案，例如用于移动设备或嵌入式设备的轻量级解决方案TensorFlow Lite，Caffe2和Pytorch等。
TensorFlow Lite
【AI 与边缘计算结合的双向优化】TensorFlow Lite 提供了转换 TensorFlow 模型，并在移动端（mobile）、嵌入式（embeded）和物联网（IoT）设备上运行 TensorFlow 模型所需的所有工具。
特点：

只含推理（inference）功能，使用的模型文件需要通过离线的方式训练得到。
最终生成的模型文件较小，均小于500kB 。
为了提升执行速度，都使用了ARM NEON指令进行加速。
支持跨平台，包括linux、Android和IOS 。

Caffe2
Caffe2 是一个兼具表现力、速度和模块性的深度学习框架，是 Caffe 的实验性重构，能以更灵活的方式组织计算。Caffe2可帮助开发人员和研究人员训练大规模机器学习模型，并在移动应用中提供 AI 驱动的用户体验。现在，开发人员可以获取许多相同的工具，能够在大规模分布式场景训练模型，并为移动设备创建机器学习应用。