10月20日，火山引擎联合西瓜视频在北京举办“经典中视频4K修复”发布会，《葫芦兄弟》《黑猫警长》《哪吒传奇》等六部动画4K版同步上线。修复工作由火山引擎提供技术支持。
10月20日，火山引擎联合西瓜视频在北京举办“经典中视频4K修复”发布会，《葫芦兄弟》《黑猫警长》《哪吒传奇》等六部动画4K版同步上线。修复工作由火山引擎提供技术支持。
发布会上，火山引擎多媒体实验室研究员赵世杰发表演讲《老片修复背后的技术》。他表示，火山引擎修复老片采用了增强视频画质的多媒体技术，算法经过抖音、西瓜视频等业务大规模验证和持续迭代，并已向企业客户开放服务。西瓜视频创作平台最新上线的老片修复工具，由火山引擎【智能处理】产品提供了部分基础功能。用户可以免费体验，为自己珍藏的视频作品“重修旧好”。
赵世杰说，“尽管AI技术大幅提升了增强画质的效率，修复经典老片仍是一项繁重且艰难的任务，尤其是要保持作品的艺术风格和美感。”
以《葫芦兄弟》为例，这部老片在消除瑕疵的过程中，修复团队看了20万帧的画面。经典作品凝结了老艺术家的智慧与精神，值得投入大力气做好修复。
未来一年，火山引擎和西瓜视频还将共同修复100部经典动画，首批合作伙伴包括央视动漫集团和上海美术电影制片厂，同时也欢迎其他版权方加入修复计划。对于有史料价值的老片，火山引擎承诺将免费提供专业精修的技术服务。
以下是赵世杰演讲全文：
各位来宾大家好，我是来自火山引擎多媒体实验室的赵世杰。我们实验室的主要工作是探索多媒体领域的前沿技术，包括视频的分析、处理、压缩、传输、交互等等。我们的技术广泛应用在西瓜视频、抖音等产品上，并已经提供给火山引擎的企业客户使用。
这次的经典中视频4K修复，就是由火山引擎多媒体实验室提供了技术支持，今天很高兴有机会和大家分享我们的修复技术。
怎样评价画质
当我看到4K修复的电影海报时，脑海里满满都是童年的回忆。但由于这些影片制作的时候条件有限，加上胶片保存过程中的老化，我们再观看这些影片的时候，往往都会发现不少画质问题，很难满足现在人们的观影体验。
为此，我们也在不断思考，怎么让过去的老片焕发新生，让现在的小朋友也能喜欢上过去的经典，成为几代人的共同记忆。
影响老片观感体验的，主要是它的画质。对于画质，我们一般可以从四个维度考虑，清晰度、流畅度、色彩以及瑕疵。接下来，我们逐一看下老片存在的这些画质问题：
一、清晰度低
首先看一段制作于1958年的动画《小鲤鱼跳龙门》，大家可以很明显地感受到影片模糊不清，这也是老片普遍存在的问题。主要原因是老片分辨率低，以及大量的纹理细节丢失。
我们知道，分辨率是衡量影片清晰程度的重要参数，分辨率越高那么清晰度越高，由于老片制作的设备和数字化条件比较差，分辨率规格一般都是720p、540p甚至更低，然而目前的屏幕很多都支持到了4k以上。所以现在小朋友们在电视上看这些动画片的时候，就会觉得清晰度很差，可能就不爱看了。
另外，老片制作的多个步骤中可能会丢失纹理，比如拍摄镜头的模糊、数字化扫描的模糊、数字化压缩存储的模糊。这样一来，即使影片分辨率不低，在丢了细节和纹理之后，一样会出现清晰度差的问题。
二、流畅度低
看一下这部1958年制作的动画片《美丽的小金鱼》，镜头平移的片段不太流畅。
影响流畅度的主要是视频的帧率，也就是每秒画面的帧数。目前大多影片帧率都在25帧以上，有的能达到60甚至120帧，主要是为了让影片看起来更流畅。
因为制作成本的限制，许多老的影片拍摄或者手绘的帧数较少，往往低于每秒15帧，所以观看的时候会有较强的卡顿感。
三、色彩失真
再来看一下《美丽的小金鱼》。这个片段里，荷叶已经失去了原有的色彩，画面一直在明暗闪动。其主要原因是胶片保存得差，存在很多物理化学损伤，这些损伤在数字化后就引起各种色彩问题。除此以外，老电影是用老的色彩标准制作的，亮度动态范围普遍比较低，所以画面对比度也比较差，看起来就很昏暗。
四、瑕疵多
当我们提起年代感很强的影片，很多人会联想到那种满屏椒盐或者雪花一般的噪点。比如，1959年的《布谷鸟叫迟了》，影片里就存在着大量的黑线和闪动。这也是因为老胶片由于保存环境比较差，也可能播放使用不当，就存在各类物理、化学损伤，呈现出了多种瑕疵。
老片修复要“对症下药”
在实际情况中，不同老片会有不同类型和程度的画质问题，很难用统一的技术方案进行修复。
我们的做法是先对影片的质量问题进行分析，然后在各个维度上产生对应的个性化修复模块，排列组合调优。所以每一部片子都有一套针对性的修复方案，相当于“对症下药”，从而达到最理想的修复效果。
比如这部《小鲤鱼历险记》，通过分析，它的主要问题是分辨率低、色域窄、细节模糊以及锯齿毛刺，对此会有超分辨率、去糊、去锯齿、HDR的解决方案。
具体到火山引擎修复老片的【智能处理】产品，包括以下几项关键算法：
提升清晰度
在清晰度维度上，我们采用了超分辨率重建和去模糊算法。
这两项技术是使用机器学习的方式实现的，我们对海量高清和低清视频的数据对进行分析，使得算法模型可以学习到高清视频的特性，从而能够完成视频从低清到高清的转换，并且生成缺失的细节。
这样一来，视频的分辨率就可以从720p提升到4k，大幅提高清晰程度。
提升流畅度
视频的卡顿感可以由提升帧率来优化。我们运用智能插帧算法，通过对前后帧的内容进行分析，生成中间帧内容，将原先不足15的帧率，提升至60以上，从而大幅提升流畅度。
色彩增强
对于色彩失真的问题，首先利用算法对画面色偏进行自动化检测和矫正，让其恢复原有的观感；其次，为了适应最新显示设备的色彩标准，我们对老片的亮度范围进行了拓展，色彩空间进行了转换，用更宽的亮度和更丰富的色彩来显示老片，可以看到示例中右侧经过处理的大头儿子画面，色彩更丰富，看起来有种焕然一新的感觉。
消除瑕疵
老片的瑕疵相较于常见的视频瑕疵，不仅类型复杂而且程度更严重，为此我们结合了传统信号处理以及深度学习算法：对于较小的雪花颗粒噪声，我们使用传统算法进行处理；对于较大的坏点和划痕，我们使用机器学习算法进行识别和修补。
我们来看看布谷鸟的修复对比片段，算法能够强力地修复瑕疵，并且保留原有纹理不受影响。
然而算法也不是万能的。在实际修复过程中，如果我们要求算法做到100%的处理瑕疵，那么会很容易将一些艺术效果也识别为瑕疵，从而对影片造成了破坏。
在这次老片修复过程中，算法大概能解决95%以上的瑕疵问题，剩余的瑕疵需要由人工辅助标注。然后告诉算法，再调整算法做二次优化。
这样一来，我们既可以比较彻底的消除瑕疵，也能保护影片原有的艺术风格。
对损伤严重的老片来说，彻底消除瑕疵需要投入大量人力。在《葫芦兄弟》消除瑕疵的过程中，修复团队看了20万帧的画面。
锯齿修复
以上算法属于比较常规的修复技术，这里我再介绍一个老片中非常特殊的锯齿问题，为此我们独创了一个老片锯齿修复算法。
从哪吒出世的画面可以看到明显的线条锯齿，这一问题只在部分场景中出现，很难定位，但是不解决的话会严重影响观感，也会影响其他算法的效果。
为此我们经过多次尝试和实验，发现哪吒中的锯齿效应是数字化扫描不精准引入的，常见的修复算法和工具都没法对其进行处理。所以我们针对性地设计了一套优化算法，修复效果可以看到锯齿得到了很大的改善。
让算法更好地服务艺术
对于技术人员来说，算法的挑战并不是最大的。刚才利锋（西瓜视频总裁）也提到了，老片修复的一大难点是保留影片的原有艺术风格，在追求高清的过程中不破坏原有的美感。
比如很多老片具备一些水墨画风格，《葫芦兄弟》《小蝌蚪找妈妈》等，如何在修复过程中不破坏水墨画的特点，是算法必须克服的问题。
再以《葫芦兄弟》为例，它的画面主要有两部分组成，水墨画部分和剪纸部分。我们通过算法对其进行精准识别和区分，然后保持水墨部分模糊朦胧，对剪纸部分进行修复增强，使得修复结果清晰又能够保持艺术风格。
在修复过程中，我们也多次与片方老师沟通和讨论，不断测试，反复调优，才达到了理想的效果。
另一个例子。在绝大多数动画中，近景人脸是清晰的，但是远景人脸是虚化的。在修复《我为歌狂》时，为了保持这一艺术效果，我们没有对视频做简单的全局清晰度增强，而是对所有远景人脸进行了检测，并且对其进行了高斯模糊的处理，从而保留了原本远景人脸虚化的效果。
再回头看看过去老电影修复的方式，需要专业修复师逐帧对胶片进行清洗、修补、调色，修复一部影片需要数月甚至更久。近年来，随着深度学习等AI技术兴起，老片修复也由人工修复跨入“人工+智能”修复模式。虽然人工在胶片的物理修复中仍不可替代，但以往修复师用图像软件修复画面的工作，可以借助算法大幅提升效率。
以去噪任务为例，一名经验丰富的修复师每天只能修复一两百帧。与此相对的，如果我们使用数字化修复算法，就可以使用强大算力资源每秒钟处理成千上万帧。西瓜中视频4K修复，便是使用了火山引擎自研的算法。我们技术的一部分基础能力，已经通过西瓜创作平台免费提供给普通用户，每个人都可以对自己的视频来做高清修复。
火山引擎每天都在修复“老片”
最后，“老片”修复这件事情，其实我们每天都在做。作为拥有海量UGC内容的创作平台，抖音和西瓜上每天都能收到成千上万用户创作投稿的视频。不少视频拍摄条件是有限的，也存在各种各样的画质问题，比如清晰度低，卡顿，抖动等，其实和老片是很类似的。
为了提升用户的观看体验，返回给用户更高画质的视频内容，火山引擎多媒体实验室会在多个链路上对视频的画质进行分析，并且做出对应的修复增强策略。这些算法已经在多项产品和海量的视频上进行了长期的实践和优化，并且形成了一套【智能处理】产品，老片修复就是其中的一个子功能。
来源于：火山引擎
网友评论