雷锋网消息,11月初,触景无限科技(北京)有限公司(下简称触景无限)在深圳安博会上发布全球首款基于intel-movidius芯片开发的嵌入式人脸抓拍系统——“瞬视”,以前端、动态、实时人脸检测、人脸识别帮助安防企业在人工智能与大数据时代的应用落地,让视频结构化数据价值得到更多挖掘。
雷锋网了解到,触景无限是一家通用化 ai 感知模块的方案提供商,目前专注于摄像头和无人机方向。
感知智能
在算法模型还没有那么高级、可以支撑起机器视觉功能的现况下,前端硬件传感器的感知能力变得尤为重要。机器感知能力,大多指的是安装各种不同种类满足不同需求的传感器,然后数据传输到云端进行处理,这就出现了一个时效性问题。
触景无限ceo肖洪波向雷锋网表示,区别于基于云的中心计算,触景无限的嵌入式人工智能是一种边缘计算,推出的一系列嵌入式智能感知模组,最大的特点是感和知的融合,本身具备了可以定制的多种传感器和数据处理平台,数据的处理和运算不是经由互联网传输到服务器上,而是在本地设备上进行,让处于互联网边缘的个体发挥更大的作用。
“边缘计算和中心计算是有一个逻辑上的匹配的。大型的人脸识别算法还是在云数据库上来训练,但训练完这个结果,去执行的时候,还一定需要在云上吗?这就不合理了。”
嵌入式 ai 到底能做到什么?与云端 ai 相比,更适合应用到哪些场景里?
受到计算资源的限制,嵌入式端很难实现模型训练的过程。而在推断环节,云端推断和嵌入式推断,二者诉求不同,因此也在不同的应用场景能够发挥自己的优势:前者的好处是,能够承受高吞吐量并满足复杂计算对资源的要求,因此多用于深度学习模型和计算较复杂的情况;而后者,则更多的应用于对“实时处理”有更高要求的场景中。
在接受雷锋网采访时,肖洪波表示,很多时候我们都把视觉问题简化成了一个分类或者一个识别的问题,但实际上视觉里面涉及到非常多的细节问题,它主要涉及5个大的领域,包括颜色、光照、形状、移动,还有距离。这几个处理在视觉皮层中是同时并行的处理。
在肖洪波看来,人工智能更像一个统计学工具,通过统计的方式帮我们去做一些数值上的模拟和处理。“因此视觉感知就变得更加重要,因为视觉是我们很多传感器里面非常重要的一个,我甚至觉得是最重要的传感器,就像眼睛对于我们人类的重要程度一样。”
但肖洪波也表示,嵌入式智能感知芯片也面临着几个问题:
不同传感器获取数据后的深度融合
一个设备通常要配备非常多的传感器,比如激光雷达、超声波雷达、imu、压力传感器、gps、tof等,这些传感器在不同的情况下要满足用户的不同需求,数据要做深度的融合。这些传感器怎么样能够把数据进行很好的过滤和融合,是前端和后端处理都要考虑的问题。
计算能力更低,实时性要求却更高
实时性要求可能比后端服务器还要高,否则这个设计就是没有意义的。但前端不适合做非常深层的算法模型,相同配置下,前端处理的计算能力其实比较低的,怎样在前端嵌入式系统里对神经网络模型进行踩点和压缩,是嵌入式智能感知面临的非常大的课题。它需要把对数据的裁减和压缩转化成在模型上的优化问题,以最小的计算资源代价,跑最大规模的神经网络,从而保证识别率。
资源有限
在智能感知的米乐m6平台的解决方案里面,深度学习是在前端来运行的。肖洪波就表示,“以前大家在做深度学习的过程中,倾向于把网络做得越深越好,因为这样的话,可能能够识别更多的图片,比如说有做上千层的深度学习网络,但是在嵌入式上面临的一个挑战,就是说我们的资源是有限的,没有办法去跑特别大的这些模型。”
“嵌入式的视觉感知中,怎样能够把更多的传感器与图像传感器前面看到的数据做深度的融合。比如视觉传感器,它在白天的时候可能很好,但是晚上根本没有办法使用。比如tof在室内可能很好,但是在室外光线的影响下可能什么东西都不能识别。嵌入式实时性要求很高。如果放在服务器上处理,时间是非常慢的,没有办法在前端做实时的反馈和处理。所以感和知这两个事情本身来讲,它是同一个命题,如果是同一个命题它将带来哪些技术上的挑战?”
据雷锋网了解,触景无限在安博会上发布的瞬视人脸抓拍系统在软硬件处理上为全嵌入式,将智能分析处理服务器即vpu模块嵌入到摄像机里,无需再配置后端服务器。也就是说不同于传统人脸抓拍机在前端抓拍图片、后端服务器分析比对,运用瞬视系统可在前端实时做智能分析,从而使得摄像机整体更加简洁高效。
针对上述的成像问题,肖洪波表示,瞬视系统可以通过前端进行底层isp调节,进行智能处理后,区分光线变化,进而实现清晰的成像质量。
此外,传统人脸抓拍机还存在检测准确率不高、漏抓误报较多、人脸抓拍不清晰、图像质量不理想等局限。据肖洪波介绍,目前,瞬视系统人脸检测视频分辨率达到了1080p,检测帧率为30帧/秒,每帧最大人脸检测数超过100人(人脸像素:40),正脸检出率>99%,误检率<1%,“我们是想让前端能够看懂每一帧的像素。”
在嵌入式芯片基础上,触景无限还开发了一个智能感知的平台。“我们希望在整个产业链里面可以帮助到很多终端的产品公司。以前这些公司都要做端到端的产品米乐m6平台的解决方案,从芯片选型开始到算法的移植,再到整合传感器,到最后产品成型。我们希望提供一个软硬件的中间平台可以提供给产品的开发商,让他们比较简单地就把传感器的功能嵌入到产品里去。”
此外,触景无限还在线上提供算法库的支持,既有自主研发的算法,也有和科研机构联合产出的成果。此前,触景无限和中科院深圳先进技术研究院成立了“嵌入式人工智能与机器视觉”联合实验室,还联合了intel、uiuc及视觉研究机构推出了“点睛计划”。
在采访中,肖洪波向雷锋网表示,触景无限已经尝试将视觉卡运用于安防领域,例如安防枪机、人证合一的闸机、手持终端、可穿戴设备、卡口、智能门禁、公交车的人脸检测、人脸识别等。
通过一个微型摄像头和手机大小的设备来帮助警察实现个人身份信息的快速比对,设备可以读取身份证信息,通过摄像头采集的图像信息进行人证合一的比对,同时还可以筛查出是否为在逃犯罪嫌疑人,结果会显示在设备的屏幕上。“甚至以后我们就把它加在眼镜上,这个人到底是不是嫌疑犯,结果会显示在眼镜上。”
肖洪波认为,随着人工智能的发展,会出现非常大的产业分工,大家专注到自己的领域,提供不同的米乐m6平台的解决方案,把各自擅长的东西融合在一起,将为用户提供更加有效的米乐m6平台的解决方案。