资讯 业界
此为临时链接,仅用于文章预览,将在时失效

开年旗舰的al新玩法:我很平凡,凡尔赛的凡 | 雷峰网-米乐m6平台

2021/01/25 11:19

高通一改往年习惯,在2020年12月2日发布了骁龙888。作为2021年旗舰标配的移动平台,骁龙888最新的x1构架带来了25%的cpu性能提升,adreno 660也给出高通gpu史上最大的35%性能提升。

不过近几年来,高通旗舰平台提升幅度最大的,一直都是它的ai性能。高通产品管理副总裁ziad asghar曾经表示,ai性能大幅提升的主要来自客户的需求,他们期待看到ai在新领域实现应用,比如视频、游戏、安全等。

但终端用户依旧不太了解ai的实际用途和影响,ai硬件的发展与大众观念的普及之间有明显的脱节。这次我们以首批搭载骁龙888的小米11和iqoo 7为例,看看移动ai能干什么,以及2021年旗舰的ai新玩法。

最强、出货量最大的移动ai计算平台

移动ai的核心,是各种用到神经网络/深度学习等ai算法。它们在图像、音频等领域有远超传统算法的效果,但需要专门的ai硬件加速器才能高效地工作。

而高通是首个将终端侧ai sdk商用化的公司,如今全球有超过5亿台安卓终端,在使用高通神经网络处理sdk提供ai功能。而高通的ai性能,从骁龙835时代就开始倍数增长,骁龙845是3tops,骁龙855是7tops,骁龙865是15tops。ai算力达到这个量级,本以为增长会明显放缓,结果骁龙888又把算力记录提升到26tops。


骁龙888上的是高通第六代aie,其最核心的hexagon 780 dsp,把以前hexagon 600系列中的标量,张量(hexagon tensor accelerator)和向量(hexagon vector extensions)模块,融合成整体式ip,共享内存增加整整16倍。在每瓦性能提升3倍的基础上,hexagon 780 dsp标量执行能力提高50%,张量执行吞吐量翻倍,核心切换时间比以前快1000倍。

骁龙888在机器学习基准测试mlperf中,最高提升4倍,暴涨后的内存池可以让神经网络在hexagon 780内部运行,无需占用额外内存,也能运行更大的机器学习推理模型。


类似arm平台“大小核搭配”的传统艺能,高通为了平衡性能和功耗,在骁龙888的第二代传感器中枢里,增加了专用的低功耗ai处理器。在功耗不到1ma的情况下,让ai性能提升5倍。

传感器中枢集成的ai处理器,负责低功耗、无需唤起的全天候语音响应、环境感知等场景的ai待命,宣称能分担hexagon 780 80%的工作负载。需要ai的人眼识别亮屏、语音助手应答、汽笛声/婴儿哭声等语音事件检测功能的功耗也更低。

另外,它可以从不同的核心收集和解密5g、wifi、蓝牙、位置流的连接数据,并创建全天候和带上下文感知的用例,例如手机识别周围声音自动调整铃声音量、在没信号停车场实时构建地图并追踪停车位置等情境感知功能。

不同厂商对ai的理解与应用

在骁龙888这一代,高通推出更加开放的ai engine direct,开发者现在可以用统一的api直接访问hexagon 780、kryo cpu和adreno gpu等的硬件,并有更多的框架的支持。软硬件的提升,可以更好地支撑不同厂商,让厂商能根据各自对ai理解,做出不同的ai应用。

在首批搭载骁龙888的小米11和iqoo 7上,因为有更加强大的ai性能支撑,一大批下渗到日常场景,很接地气的ai应用,就是教科书式的“我很平凡,凡尔赛的凡”。

在小米手机上,运动健康领域mace micro ai引擎,使用深度学习算法提高数据准确精度并降低能耗,一整天的耗电量小于1%(24小时耗电量 9.6mah)。

而dnn-hmm框架深度学习算法,被小米用在相机ai声控上,在拍照场景的音频流中,进行多指令词实时检测。而小爱同学语音助手的asr语音识别、nlp自然语言处理、tts语音合成,以及一系列的端侧ai功能,因为有骁龙888的支持,在小米11上的响应速度更快,但功耗却更低。

 

gvoice & voip杂音比例对比

而iqoo的ai应用,自然是和游戏相关的。在iqoo联合腾讯开发的游戏gvoice语音功能中,使用骁龙888的ai引擎和传感器中枢作为新的硬件载体,gvoice算法负责ai的回声消除和噪音抑制(ecns),厂商与游戏端定制通信协议,适配客制化音频通路。

在提供更好的声音还原度和噪声抑制效果时,运行在hexagon dsp的gvoice语音,可以让整机耗电下降20ma/s,其所占的cpu资源在原有基础上减少约30%。

另外,高通与nlp自然语言处理方案的头部厂商hugging face合作,为第六代高通ai引擎提供强大的nlp库。打字时的本地自动补全建议、ai语音助手对用户提问的理解、终端侧的实时ai翻译等功能,都将直接受益。

把单摄玩出花的google,之前就用预训练的神经网络做到背景虚化、全景、motion动图(类似ios平台的live photo)、ar实时追踪贴图、超分辨率放大、超级夜景等多种功能。snapchat通过aimet量化其ai镜头模型,提高实时滤镜流畅度并增加滤镜多样化。

而增加对循环神经网络(rnn)和长短时记忆神经网络(lstm)支持的ai模型增效工具包,被开发者做成了“手机拍照就能扫描皮肤健康”的应用。德国的trinamix公司则是用红外光谱分析材料反光,以此做皮肤检测,甚至是垃圾分类。

ai拍照的新玩法

影像是ai最重要的用途之一,而最能看出不同厂商对ai的不同看法的,也是影像部分。小米11的夜景模式新增的夜景拍摄视频,利用ai大幅提升夜景视频的画面亮度和降噪表现。夜景视频可理解为每秒拍摄超过24张超级夜景照片,是isp和ai算力暴力提升的直接效果。

小米11在相册自带了证件照功能,自拍之后,交给ai一键抠图,选定规格和背景就能搞定,不需要跑照相馆,也不需要动用电脑。类似的还有ai智能去线、智能去人等功能。


之前的ai魔法换天功能,在小米11直接被玩出花来了。其提供了晴空、雨云、彩虹、夕阳、晚霞、星空、月亮、闪电、银河等几十种可选内容,现在天空上的云朵能像现实一样随机变化。小米甚至还搞出“焰火版魔法换天”,烟火能实时“炸出”自定义的骚气祝福语。

 

而对ai算力要求最高的,是多人物共存的魔法分身视频功能。其用法虽然很简单,而且无需三脚架,但背后结合了ai视频目标检测、实时slam场景建模、ai 视频实时人像分割三大算法,而且还要对视频实时逐帧对齐拼接。

相比小米11的趣味性,iqoo 7对ai拍摄的着眼点,要加实用化一些。iqoo 7使用自研raw域ai空域降噪模型,对单帧raw图进行空域降噪,用ai学习识别画面高中低频区域,再0.01lux分段处理的噪声模型标定,分别使用不同程度的降噪,有效提升画面纯净度,并保留画面中不同的明暗细节。

而iqoo的黑光夜视2.0是更加极限的ai算法,其做到了3倍iso、远超人眼极限的“夜视仪”效果。针对拍照时的翻车操作,iqoo 7的相册有纯净度改善和处理人像模糊问题的后期修复能力。

 

老照片修复上色

褪色照/黑白照ai上色,是以前就有云端方案,但因为隐私、收费和处理时长问题,一直铺不开。在骁龙888的ai算力支持下,iqoo 7也引入情怀向的ai旧照修复、黑白照上色功能,同样是在相册里的一键操作。


 

ai 希区柯克变焦

视频方面,iqoo7做出了一键vlog模板。里面最骚气的希区柯克变焦模板,使用ai进行目标检测、背景拉伸,缩放,完成以前需要多摄像头/变焦协同和人力移动的效果。

 

ai滤镜风格迁移

常规的图片滤镜只能在给出的滤镜风格里选择,但ai已经能做到滤镜风格迁移,用ai识别和抽象化提取指定照片(甚至电影截图)的风格,自动生成全新的模板。


虹软“傻瓜相机”

骁龙888上,高通首次将ai引入自动对焦、自动曝光和自动白平衡的3a算法。基于显著性特征分析的自动对焦和自动曝光的神经网络,提供前所未有的准确度之余,还有实物运动跟踪能力。

虹软 “傻瓜相机”功能,在全自动的3a之外,还能自动跟踪目标和自动缩放,连取景和构图都“傻瓜化”了。


 

视频实时分隔与融合


4k 30fps的实时背景抠图

在高通ai engine的支持下,cv-isp硬件计算视觉加速器也能提供60fps实时景深识别的人像、背景分割、替换、人体追踪、物体识别/追踪的效果。 

高通ai引擎运行和加速的tetras.ai超级电影应用里,骁龙888可以做到4k 30fps的视频实时背景抠图、分割和融合,然后还能用不同的形象代替视频中的角色,与里面的其他人物/角色进行互动,而且取景框上就能实时预览最终效果。

总结

数年间,高通的ai引擎已经发展到第六代,异构化和第二代传感器中枢,已经能让人眼识别亮屏、语音助手应答、语音事件检测、情景上下文感知等ai功能可以低功耗地全天候工作。

而小米11和iqoo 7,在相机上的超级夜景视频、抠图、魔法换天、旧照恢复、希区柯克变焦模板、自由滤镜等更加重度的ai新玩法,也在刷新我们对ai拍照的理解。一边是下沉渗入到日常使用的传统功能ai化,一边是新发掘的非线性、散点出现的ai新玩法。

但 “真正的科技就是让你感觉不到它的存在”,大众对移动ai实际用途的感知割裂,或许正是ai已经深入生活的注脚。当被新旗舰玩出花的ai功能,从点连成线、连成面之后,就是真的“我很平凡,凡尔赛的凡”了。

雷锋网文章,转载雷锋网文章请联系雷锋网

长按图片保存图片,分享给好友或朋友圈

开年旗舰的al新玩法:我很平凡,凡尔赛的凡

扫码查看文章
米乐m6平台

正在生成分享图...

取消
相关文章
网站地图