4k葫芦娃重生的秘密，藏在火山引擎里 | 雷峰网-米乐m6平台
很快，远处的一个黑点变成了清晰的火车头，形形色色的旅客们涌了上来。
火车减速，沿月台缓缓停下，车厢门打开，奥古斯特·卢米埃尔夫人领着两个穿白衣服的孩子走进了车厢......紧接着，一个穿洁白冬装的少女走了过来，无意间看到了摄像机，她流露出害羞的表情，悄悄的躲过了镜头......
没有复杂的拍摄技巧，没有丰富的电影语言，一个简单的火车进站的纵深镜头，真实呈现了19世纪90年代法国旅客候车时的情景。
这部《火车进站》是由卢米埃尔兄弟执导的世界上第一部电影，只有50s的黑白无声影片在当时那个年代给人们带来了极强的新鲜感，如今经过4k修复仍有一种浓厚的历史韵味。
电影修复技术经过20年的发展，使大量经典、重要且珍贵的胶片电影摆脱了蒙尘的命运。《海上钢琴师》《永不消失的电波》《英雄本色》《阿飞正传》等影史经典以全新的面貌重映银屏，带回了一代人的青春记忆，也展现了老电影独特的魅力。
《永不消失的电波》4k修复剧照
4k修复既能保留胶片电影特有的质感，又能适应电影的数字化，可以说是胶片时代过渡到数字时代的良好选择。然而，这些经典电影“旧貌换新颜”的背后却是巨额的成本投入，电影修复一直都是一门大产业。
一部影片要想完成4k修复起码需要两三个月、甚至半年之久。而“周期长”意味着“成本高”，影片《决胜时刻》从修复、投资到上映大概花了上千万，詹姆斯.卡梅隆的传世之作3d版《泰坦尼克号》更是耗资6千多万元。
除了高额资金成本，人力短缺也是4k修复的一大桎梏。《开国大典》中一段10分钟的镜头片段动用了600个人，而且这些人不仅要对电影艺术有很深的了解，更要知晓胶片的物理性质、化学性质、软件修复技术以及电影特效等专业知识。
对于浩如烟海的胶片电影而言，修复工作是一项与时间赛跑的“抢救工作”。
近日，西瓜视频与火山引擎共同发布了“经典中视频4k修复计划”，表示在未来一年内，将与央视动漫和上海美术电影制片厂合作，共同利用4k技术修复《舒克与贝塔》《西游记》等 100 部家喻户晓的经典动画。
哪吒传奇（2003）、围棋少年（2005）、围棋少年（2）、大头儿子和小头爸爸（1995）、小鲤鱼历险记（2007）、我为歌狂（2001）、葫芦兄弟（1986）、三个和尚、小蝌蚪找妈妈、 黑猫警长1-5集、九色鹿、舒克和贝塔1-13集、没头脑和不高兴1-26集、邋遢大王奇遇记1-13集、西游记、魔方大厦1-10集、猴子捞月、大盗贼1-8集、葫芦小金刚1-6集、南郭先生、曹冲称象、大耳朵图图（第一季）、人参娃娃、镜花缘1-4集、小鲤鱼跳龙门、东郭先生、鹬蚌相争、老狼请客、咕咚来了、崂山道士、 半夜鸡叫、十二生肖1-13集、小虎还乡、骄傲的将军、超级肥皂、济公斗蟋蟀 、人参王国、阿凡提的故事1-13集、过猴山、大英雄狄青1-52集、狼来了等100部影片。（修复后的内容，用户可免费在西瓜视频观看）
发布会上，针对当前4k电影修复成本高、周期长、人力短缺等缺点，火山引擎多媒体实验室研究员赵世杰给出了火山引擎“智能处理”米乐m6平台的解决方案。他表示，通过超分辨率、智能插帧、色彩增强、降噪等自研算法，ai能够大幅提升老片的修复效率和质量。
4k修复，还原艺术本色
发布会上，哪吒、葫芦娃、黑猫警长，一个个经典形象以超高分辨率出现在大屏幕上，每个画面细节都被完美呈现，光影层次也变得流畅，给现场观众带来了不一样的童年感受。
所谓电影修复，其实就是将年代久远的胶片电影重新拷贝到数字载体上，通过修复、降噪、补光、调色等技术处理，还原和优化影片原貌的过程。
2k技术是早期电影修复的主要手段，用于清除影片杂质、噪音，让画面恢复最初的视觉质感；4k技术在分辨率上要求更高、更精细，除了清晰度和流畅度外，注重影片的原始色调和光影层次，为观众打造身临其境的感觉。
2014年上映的《舞台姐妹》是国内首部4k修复电影，这部4k扫描、4k输出的全彩修复影片令当时的观众耳目一新。后来随着修复技术的日臻完善，2019年上映的修复版《那人那山那狗》《滑铁卢战役》《决胜时刻》接连成为电影市场的现象级作品。从这一年开始，4k修复版电影开始走进大众的观影生活，电影修复技术也正式由“2k时代”迈入“4k时代”。
尽管有了ai，4k电影修复仍是一项艰难且繁重的任务。赵世杰介绍，受到拍摄条件和胶片保存、使用过程中的损伤等因素影响，老电影普遍清晰度低、流畅度低、色彩失真、有瑕疵等不同程度的画质问题。
在过去，老电影主要采用胶片作为拍摄和存储的介质。早期胶片的材料是一种比纸更易燃的硝酸片基，后来发展出醋酸片基、涤纶片基取而代之，但不管是哪种片基，在常温状态下都很难保存，温度、湿度以及搬运移动、使用播映外部因素很容易造成胶片损伤。
图源：北京商报
目前中国电影资料馆保存了近3万部胶片影片资料，这些胶片由于年代久远，保存条件不够理想或者转印、播放次数过多等原因，普遍存在着灰尘、污垢、霉斑、掉色、图像抖动、划痕、闪烁、噪声、变色、模糊等各种问题。
而胶片质量直接影响着人工修复的难度和时间成本。正常情况下，一位熟练的修复师一天最多可以修复200帧画面，但如果胶片保存不佳，脏污、裂痕、变色等问题严重，修复师一天可能只能修复一秒（24帧），再者，如果画面涉及夜戏、雨戏、烟雾戏、特效戏等复杂场景，修复周期更是成倍增加。在2019年上映的4k修复版《开国大典》中，一段拍摄于1945年和1945年之前的片段，全长只有10分钟，占用了整个修复团队70%的时间。
由于胶片质量和所用时间不同，修复的花费也不尽相同，但一部90分钟标准时长的4k影片修复通常需要百万人民币以上，且从物理修补，数字化转换，再到声画合成、调色，整个修复过程难度不亚于制作一部新片。
其实抛开成本问题，电影修复最大的难题是如何保留影片艺术风格和美感，4k修复版电影曾一度因为颠覆胶片的美感而引发争议。一部老电影，经过漫长的岁月侵蚀，早已变得暗淡模糊，通过ai技术把它修复得光鲜漂亮并不是难，难的是如何还原原来老电影的感觉。因此，如何赋予ai以“艺术修养”，是火山引擎所要攻克的核心问题。
四大智能算法，用“实力”让情怀落地
“不管是修复动画片，还是修复老电影，归根到底，都不只是为了提高它的清晰度，而是修复这些内容背后的记忆，通过这些记忆在几代人之间产生共鸣和火花，才是修复的价值所在。”西瓜视频总裁任利锋表示，经典作品凝结了老艺术家的智慧与精神，需要我们真实地去还原和呈现。
在首批修复的动画作品中，经典水墨剪纸动画《葫芦兄弟》也在其中，这部根据民间文学《十兄弟》改编的极具神话色彩的动画片，是70、80后的共同回忆。为了保留水墨和剪纸独有的艺术感，赵世杰坦言，他们修复《葫芦兄弟》时多次与制片方讨论方案，经过反复测试和调优才达到理想效果。
在算法方面，为了防止“误伤”水墨朦胧的艺术效果，他们在消除瑕疵算法上没有设置很高的强度，而是“故意”漏掉一部分瑕疵交由人工辅助处理。对损伤严重的老片来说，彻底消除瑕疵需要投入大量人力。火山引擎修复数据显示，算法能够直接消除95%以上的瑕疵，余下的经过人工标注后再调整算法做二次优化。
据了解，此次4k修复使用了火山引擎智能处理产品中的部分技术能力，通过超分辨率、智能插帧、智能降噪、色彩增强等算法增强视频画质。其修复过程大致为，先利用视频降噪算法做前期处理，再进一步通过几类不同的超分辨率算法增强将画幅扩大到4k分辨率，并生成更精细的细节，最后再通过插帧算法网络和hdr重制算法，将一个原本充斥着噪声和压缩损伤问题的视频增强为一个主观画质舒适的4k 60帧hdr节目。以下为各项功能及优势的简单介绍：
智能超分：根据已有的图像、视频信息重构缺失的细节，解决老片普遍存在的模糊、清晰度差、分辨率低的问题。
超分辨率 (super-resolution，简称超分）在视觉处理方面的广泛应用，使其有了非常成熟的米乐m6平台的解决方案。火山引擎的技术创新主要体现在时域建模和自适应处理。前者可自动生成恢复出额外的细节，后者可对视频或图像进行“区域分片”处理，以确保不同视频/图像区域的风格和美感。
智能插帧：使用深度学习算法，将低帧率视频通过插帧的方式变为高帧率视频，让视频变得更顺滑流畅。
老动画片容易出现卡顿、流畅度不佳的现象，主要是因为影片绘画帧数少。智能插帧技术的功效就是通过分析前后帧的动态和内容，生成中间帧，进而提升视频帧率和流畅度。关于动画纹理少的问题，现阶段的米乐m6平台的解决方案难以判断前后帧对应的运动块，针对这个问题，火山引擎采用块光流进行优化，提高了插帧的精准度。
视频降噪：消除胶片存放以及转录过程中带来的各种噪点以及闪烁等缺陷。
常见的视频降噪算法在消除噪声的同时，容易对纹理区域有破坏，火山引擎方案通过对纹理、噪声的智能分析，在去噪的同时尽可能地保留视频原有纹理不受影响。
划痕修复：对视频中胶片的划痕损伤进行识别和修复。
对于常见的胶片划痕，考虑到修复难度和效果，火山引擎采用了“算法 人工”相结合的米乐m6平台的解决方案。从现有研究来看，如果使用纯ai技术进行修复，密集且微小的划痕很难被全部发现，也容易出现“误伤”的情况；相对来说，人工修复的效果会更好，但它需要更多的时间和资金，效率反而降低了。火山引擎的方案是先使用算法初步修复小划痕，人工标注算法再“查漏补缺”，修补大的划痕，实验证明，算法对通过人工标注的结果进行再修复，所达到的效率和效果都是最优的，而这一点也恰好体现了火山引擎“虽有先进音视频技术，却不唯技术”的理念。
锯齿修复：针对影片下采样时出现的锯齿线条和频谱混淆，有针对性设计了一个独立算法。
锯齿修复所要解决的关键问题是锯齿定位。与划痕不同，并不是每一张图像都会出现锯齿线条。火山引擎多媒体实验室团队经过多次尝试和实验，发现锯齿效应通常是由数字化扫描不精准引入的，目前业界的修复算法和工具都没有相对应的米乐m6平台的解决方案。所以火山引擎针对性地设计了一套优化算法，使锯齿的修复效果得到了很大的改善。
sdr to hdr：针对质量较低的视频，从色彩、对比度、细节及画面层次等维度进行分析，对低质问题进行自适应处理，提高源视频的质量和转码后视频质量。
无论是产业界，还是学术界，从现有的sdr视频中恢复更高动态范围和色彩广度的hdr视频的需求一直在持续增长。一般来讲，如果标准动态范围没有太大提升，很可能就会出现画面像素过多，质量不高，且无法呈现更丰富的层次和细节等影响。与sdr相比，高动态范围（high dynamic range，hdr）可以提供更丰富的细节，更宽广的色域和更自然的色彩过渡，呈现更高品质的的图像。
火山引擎，与生俱来的视频能力
火山引擎是字节跳动旗下的企业级技术服务平台，围绕音视频技术搭建了视频点播、veimagex、企业直播、视频直播、实时音视频、云编辑、智能处理于一体的视频云产品矩阵。视频云属于火山引擎中台层面的服务，其最大的优势是拥有抖音、西瓜视频、今日头条等实战场地，能够在丰富的场景下不断迭代、打磨音视频能力。
火山引擎视频云产品负责人keith此前在接受媒体采访时表示，“我们会在抖音和西瓜场景中，不断去探索视频播放体验的极致，同时解决这个过程中出现的大规模问题。而这些问题的米乐m6平台的解决方案，我们会把它沉淀成方法论，然后融合到火山引擎视频云的产品中去。”
所有音视频产品发展到一定规模后，其突破点一定是“细节”的处理，早在2016年，字节跳动就上线了大规模测试平台a/b测试，为字节跳动算法和产品提供检验和优化的平台。a/b测试连接抖音、西瓜视频等全线业务后，每天开展上万场测试，单日新增实验数量最高超过了1500个，覆盖500多个大大小小的业务。此次4k修复技术用到的智能插帧、智能超分、智能降噪等算法已经过了a/b测试及多平台多场景的千锤百炼。
标准被誉为高科技产业王冠上的宝石。谁在标准中拥有更多专利，在产业中就拥有更大的话语权与主动权。正因为如此，各大科技巨头都高度重视标准制定，将相关专利技术视为核心资产。
在国际标准h.266/vvc贡献者排行榜上，字节跳动排名第三，仅次于高通和华为。
作为一家没有参与上一代视频编解码标准开发的互联网公司，字节跳动实现了从标准跟随者到制定者的跨越。而在新一代视频编解码标准制定过程中，字节跳动发起的100多项技术提案获得h.266/vvc标准采纳，形成一系列原创性技术。
除了标准化工作的重要贡献之外，火山引擎多媒体实验室团队在h.266/vvc商业化落地方向也做出了积极的贡献。
早在2019年6月，火山引擎已经完成满足点播场景应用的自研编码器bvc第一个版本，该版本与x265编码器相比，在相同计算资源下，针对大量的1080p高清视频，bvc编码器可以将平均码率下降33%。之后，bvc经过不断迭代，性能又有大幅提升。除了自研编码器，自研解码器也已经配套完成，在高端手机上可以做到实时流畅播放高清和超高清视频。
h.266标准之后，火山引擎对视频编码技术仍在进一步探索，目前侧重的两个方向，一个是基于新兴深度学习的视频压缩（也包括深度学习和传统混合视频编码框架的结合），另外一个是基于传统混合视频编码框架技术的继续挖掘。尽管还只是刚刚开始，但已经取得了突破性的进展：
基于深度学习的自适应滤波器dam算法，获取15%以上的性能增益；
基于混合视频编码框架融合多项技术，获得超过13%以上的性能增益。
其中，自适应滤波器(dam)算法，主干是基于残差单元堆叠的深度卷积网络，辅以自适应模型选择以最大程度适应特性复杂的自然视频。所谓残差单元是指通过引入跳层连接，允许网络把注意力放在变化的残差上，这与视频图像帧之间的残差有异曲同工之妙，比如武林高手决斗，“剑光一闪”，每一帧图像绝大部分内容是相同的，闪动的剑光形成残差，这也是视频编码压缩的重点关注对象。
实验结果显示，相比h.266/vvc最新标准，字节跳动的dam米乐m6平台的解决方案能够为视频编码性能带来显著提升，亮度信号y可实现10.28%的性能增益，两个色度信号u和v，性能增益也分别达到28.22%和27.97%，在视频质量有所优化的同时，至少还可缩小13%的数据体积。
火山引擎多媒体实验室的各项研究成果，也将通过bvc编码器的升级换代投入应用，包括抖音、西瓜视频、今日头条等 app的视频类内容处理，以及云计算、云游戏等基础架构领域，为用户带来更高清画质、更流畅的视频体验。
小结
火山引擎定位为字节跳动对外提供技术服务的窗口，从统一的基础服务、技术中台、智能应用和行业米乐m6平台的解决方案四个方向面对b端提供技术支撑。在过去九年，字节跳动沉淀了大量增长方法、工具和技术能力，这些能力在火山引擎上有机地组合成为了 60 多款单品，被统称为『智能增长技术』。如今数字化转型和企业服务行业迅猛发展，火山引擎『智能增长技术』亟需走向市场，接受打磨和考验。
火山引擎启动大规模修复经典4k中视频，扩大了其音视频能力的应用范围，同时也为推动中国文化遗产保护做出了贡献。老电影修复是一项与时间赛跑的“抢救工作”，很多珍贵、重要的经典影片遗产再不修复就毁了。 2006年，中国电影资料馆牵头启动“电影档案影片数字化修护工程”项目，率先开始了发现、收集、拯救、保存中国胶片电影的工作，截止目前已经修复了500多部2k以上的国产电影，但要想赢得这场“竞赛”，提升ai技术能力终究是根本解决之道。
雷锋网雷锋网雷锋网
