科技趣聊: 手把手教你部署一辆高速目标检测Jetbot智能小车,英伟达公开课

主讲人|何琨英伟达量子位编辑|公众号QbitAI
3月26日 , 英伟达图像处理系列公开课第三期线上开播 , 来自NVIDIA开发者社区的何琨老师 , 与数百位开发者共同探讨了:
利用NVIDIA迁移式学习工具包构建SSD目标检测网络的推理引擎将推理引擎迁移到以JetsonNano为核心的Jetbot智能小车上在Jetbot智能小车上部署推理引擎应读者要求 , 我们将分享内容整理出来 , 与大家分享 。 直播中主要的livecoding环节受限于文字描述 , 还请大家观看直播回放(文末附有PPT、直播回放链接) 。
以下为本次分享的内容整理:
科技趣聊: 手把手教你部署一辆高速目标检测Jetbot智能小车,英伟达公开课
文章图片
大家好 , 我是来自NVIDIA开发者社区的何琨 。 我的每次分享都会给大家展示这张图 。
它很好的诠释了深度学习的架构 , 从应用角度来说 , 视觉、语音识别、NLP等是目前发展较快的领域 。 市面上有很多框架支持这些深度学习的应用 , 如Caffe、TensorFlow、PyTorch等 , 而支撑起这些框架的基础是强大的计算能力 。
NVIDIA提供了大量的GPU、边缘设备等 , 为深度学习框架、推理训练提供了强大的支撑能力 。 在英伟达CUDA生态系统上 , 建立了cuDNN、TensorRT、DeepStreamSDK、cuBLAS等一系列工具 , 都是中层的框架应用的基础的内容 。
今天分享的主题是“利用迁移式学习工具包加速Jetbot智能小车的推理引擎部署” , 首先介绍下这两个工具 。
迁移式学习工具包
科技趣聊: 手把手教你部署一辆高速目标检测Jetbot智能小车,英伟达公开课
文章图片
NVIDIA迁移式学习工具包(TransferLearningToolkit , 简称TLT)是一个基于Python的工具包 , 它提供了大量预先训练的模型 , 并提供一系列的工具 , 使流行的网络架构适应开发者自己的数据 , 并且能够训练、调整、修剪和导出模型 , 以进行部署 。
科技趣聊: 手把手教你部署一辆高速目标检测Jetbot智能小车,英伟达公开课
文章图片
也就是说 , 我们使用TLT时 , 就不需要再掌握(上图)左侧这些工具了 , 大大提高深度学习工作流的效率和精度 。
科技趣聊: 手把手教你部署一辆高速目标检测Jetbot智能小车,英伟达公开课
文章图片
TLT提供了很多训练好的模型 , (上图)列举了30多种常用的预训练模型 , 后面也将推出更多预训练模型 , 大家可以在NGC(https://www.nvidia.cn/gpu-cloud/)上下载 。
科技趣聊: 手把手教你部署一辆高速目标检测Jetbot智能小车,英伟达公开课
文章图片
选好预训练模型后 , 我们可以通过TLT对其进行训练、剪枝、再训练等 。 一键输出后的模型可以直接在DeepStream和TensorRT上使用;优化加速后可以部署在移动端或嵌入式产品上 , 比如自动驾驶汽车、无人机上 。
科技趣聊: 手把手教你部署一辆高速目标检测Jetbot智能小车,英伟达公开课
文章图片
Jetbot智能小车Jetbot是以JetsonNano为计算核心的自动驾驶小车模型 。 JetsonNano的体积非常小 , 只有巴掌大小 , 但是可以提供470GFLOPS的计算能力 。
科技趣聊: 手把手教你部署一辆高速目标检测Jetbot智能小车,英伟达公开课
文章图片
Nano支持多种接口、双电源 , 为我们的训练与部署深度学习模型提供了便利 。
科技趣聊: 手把手教你部署一辆高速目标检测Jetbot智能小车,英伟达公开课
文章图片
上图是我去年参加的无人车驾驶比赛的现场 , 大家可以看到 , Jetbot小车能够识别路牌、建筑物 , 自己找到路径 , 其计算核心就是JetsonNano 。
科技趣聊: 手把手教你部署一辆高速目标检测Jetbot智能小车,英伟达公开课
文章图片


推荐阅读