英特尔收购movidius背后：为什么我们需要一款专门的cv处理芯片？ | 雷峰网-米乐m6平台

（movidius myriad 2，图片来源：）

编者按：本文作者为英梅吉ceo朱郁丛，该公司推出了。

背景：科技界又迎来了一桩大额收购案，，该公司主要产品为低功耗视觉处理器：myriad 系列 vpu。今年八月，intel还以 3.5 亿美元收购了主攻深度学习的公司 nervana，这一笔收购能够让英特尔获得深度学习的 ip 和具体产品，从而满足 ai 开发及数据中心对芯片的强大需求。

要想解释 intel 为何会在短期内有如此大动作，先来看一下 2016 年的 cvpr。

（cvpr 全称为 international conference on computer vision and pattern recognition，计算机视觉及模式识别大会。涵盖的问题包括但不限于：物体识别与检测、图像高级语义理解、人脸、优化方法、correspondences求解、相机定位及三维地图构建(slam)。cvpr 是计算机视觉的最大的年度聚会，2016 年收到投稿 2,145 份,接受论文 643 篇，接收率 29.9%，与会人数达 3,600 人。）

在这场全球顶级的计算机视觉领域大会上，据不完全统计，大概有 70%以上的文章均与深度学习有关，在图像分类、物体检测、语义分割等领域,深度学习取得的效果已经大幅领先传统算法。据微软亚洲研究院所述，即使是在 3d 视觉、底层图像处理等传统方法相对主流的领域也有不少学者给出了自己的基于深度学习的米乐m6平台的解决方案。

以手势识别为例，传统的识别方案大都基于颜色空间，如 rgb，hsv 及 ycrbr。但这些算法都无法排除类肤色物体及黑色皮肤对识别精度的干扰。也有些算法通过对手型轮廓特征进行提取从而完成识别，如 hog svm 的分类识别方法，但仍然无法提高在暗光、逆光等条件下的识别精度。但借助深度学习，如通过 r-cnn 训练大量标注后的手势图像数据，得到的模型在处理带有复杂背景及暗光环境下的手势识别问题时，比传统方案的效果优秀很多。

一方面深度学习可以给计算机视觉领域带来空前的进步，但另一方面，该方法对硬件及数据的要求也是空前的。通过 r-cnn 网络训练一组手势，大概需要 10 万张预先标注好的图片资源，同时，在学习图像的过程中，它对 gpu 也有非常高的运算要求，训练时间也不容小觑。 即使已经在高性能平台得到了一个 r-cnn 或者 faster r-cnn 的网络模型，在某些低运算能力平台(手机,平板)上运行识别算法时，也无法同时顾及到实时性和高识别率。比如，yolo物体识别算法可以在高性能平台达到 45 fps，但其 map 只有 63.4 左右。而 map 更优的 faster r-cnn，却只有 7 fps。

目前，如果想在手机等 gpu 性能很低的设备上运行深度学习算法，挑战还比较大，只有通过对算法的优化，才能使其在目前主流的android、ios 平台上运行。比如，在单目手势识别领域,全球范围内可给出商用米乐m6平台的解决方案的有来自以色列的 eyesight，superbreality 公司及我们的 hand cv，其中，superbreality 公司的米乐m6平台的解决方案更多依赖于对手势轮廓的识别，hand cv 的米乐m6平台的解决方案则融合了颜色空间、轮廓及 yolo 深度学习的方案。所以，通过机器学习来解决计算机视觉问题的思路已经逐渐转到了手机等移动平台上来。

那么，既然深度学习对识别精度的提高如此明显，就像当年 iphone 5s 加入了 m7 协处理器一样，计算机视觉领域在一些移动设备上也需要有一块专门的低功耗处理芯片。它不但可以分担 cpu 和 gpu 的任务，而且在处理深度学习的问题时更加高效，可以针对卷积神经网络的训练特征从芯片级别进行优化，从而促进基于深度学习的计算机视觉算法在移动设备上的普及。

就像背景描述里提到的，intel 已经在为这个方向布局：同时，上游芯片供应商 nvidia 也在去年年底发布了 jetson tx1 gpu 模块，主要针对的也是人工智能市场。

（jetson tx1 gpu 模块包括一颗浮点运算达到 teraflop 级的、基于 maxwell架构的 256 核心 gpu，64 位 arm a57 芯片组、4gb lpddr4 ram 内存 (每秒带宽速度达 25.6gb)、15gb 本地存储模块、802.11 2×2 ac wi-fi米乐m6平台的解决方案以及 1gb 以太网端口。同时还配备 jetson linux 软件开发工具包。jetson tx1 gpu 模块的面积只有 50*87 毫米，仅一张信用卡大小。 虽然外形很迷你，jetson tx1 gpu 性能却不容小视。）

jetson tx1 gpu 模块的首批客户包括微软、亚马逊、谷歌以及 ibm 等科技巨头，它们将会在各自的无人机或者机器人设备搭载该模块，从而流畅运行人工智能应用。以下便演示了该芯片与深度学习结合的一款应用产品：kespry 无人机。

（kespry 无人机：）

计算机视觉领域原来一些看似不可逾越的鸿沟，被深度学习轻松踏过，而深度学习天生对运算性能要求高的弊端也必定会随着硬件的成熟而解决。随着 ai 技术的发展以及人们对之的重视，计算机视觉的应用场景不再局限于工业，已经慢慢走入大众市场，如行车记录仪的路牌、车道分析，基于手机的移动 vr 的手势识别等等，这些功能的高质量实现都需要在 cpu和 gpu 性能有限的情况下运行深度学习的算法，那么，一款专门的 cv 处理芯片对于整个芯片制造业都会是下一个绿洲，这也是为什么 intel 会在短时期内收购生产视觉处理器的movidius 公司和深度学习公司 nervana。同时，由于手机、平板、无人机等设备对功耗的敏感特性，就需要这块专门处理 cv 内容的芯片以低功耗运行。

所以，计算机视觉领域遇到的问题可以更好的被深度学习解决，而深度学习在移动平台上运行的问题，最终将会被低功耗的 cv 处理芯片解决，真正的 ai 离我们越来越近了。