首页 > 科技快讯 > 对话AI修复师：如何「复刻」尘封21年的张国荣《热·情》演唱会

对话AI修复师：如何「复刻」尘封21年的张国荣《热·情》演唱会

晰数塔互联网快讯
2022-04-02 19:00

《热·情》超清修复版刷屏朋友圈

性感服装、红色高跟鞋、贴身热舞...在2000年《热·情》演唱会上，张国荣用前卫大胆的衣着和妖娆的舞姿，突破传统界限，缔造了永恒经典。

2022年4月1日晚20点，张国荣《热·情》演唱会超清修复版在线上首播。这张尘封21年的母带，经过智能4K超清修复，让千万粉丝仿佛回到当年的红馆现场，重温绝代风华。

这场跨越岁月重逢的背后，除了腾讯音乐娱乐集团与环球音乐集团旗下厂牌宝丽金唱片的合作外，还离不开腾讯云多媒体实验室的数字影像修复技术支持。

一个月修复老片，「复刻」永恒经典

谈到此次修复的契机，腾讯云多媒体实验室总监李松南说：“其实，源于一个偶然的机会，我们与版权方——环球音乐旗下的宝丽金唱片接触后，感到彼此非常契合，就很快就达成了合作意向，决定在4月1日这个特殊的日子，用特殊的AI画质修复的方式，将张国荣这场经典演唱会重新带给粉丝们。我们感到特别荣幸，非常有意义，也很有价值。”

三月初，腾讯云多媒体实验室团队拿到了演唱会的母带，从拿到母带到最终呈现直播，只花了差不多一个月时间。腾讯云多媒体实验室专家研究员夏珍说，纯算法耗费的时间其实并不算长，大约2天左右。如果传统人工修复的话，则需要花费1、2月时间。

修复前后对比

谈到老片修复后的效果，李松南认为：“虽然效果是主观感受，因人而异，但此次修复后，整体画面变得更清晰、更逼真。例如，脸部的轮廓、毛孔、胡须、眼神等细节都清晰可见。”原本母带的分辨率较差，大概仅为720×480，修复后接近4K画质，提升了约6倍。同时，优化了帧率，画面的流畅度也有所提升，而且更具沉浸感。

夏珍提到了“修旧如旧”，为了保留整场演唱会的艺术效果，团队尝试了多种算法和效果的搭配，以达到平衡的目的。期间，团队也遇到了一些bad case（坏案例），需要更精细的修复和多种算法的调整，但最终获得了不错的成效。

四大模块解决四大难点

李松南总结了本次修复的四大技术难点。首先，时间跨度太大，母带有划痕和噪点等问题。修复引擎中有一个专门的“去划痕”及“去噪点”的算法，针对难以修复的部分，在后期通过画面修复技术，将这些问题逐一解决。

其次，数据量不足，需要在少量数据的情况下，尽可能提升算法的学习效果。李松南说，这是团队第一次修复演唱会。此前修复主要的是老电影、老电视剧，所以演唱会相关的数据积累较少。所以，需要通过不断优化算法，以加强深度学习效果。

然后，演唱会现场环境较复杂、多变，且场景较暗，细节也不够丰富，还面临运动场景、景深切换等较多等各种情况，对算法带来更大的要求和挑战。修复中，需要运用多种修复手段，并依据不同的场景，不断尝试适合的算法，提升效果，为以后的修复积累了宝贵的经验。

最后，清晰度较差的部分难以精确建模，需要尝试不同的算法、调整不同的参数，以达到更好的修复效果。

修复前后对比

李松南介绍道，目前老片修复分为物理修复和数字修复两种。其中，物流修复主要是去除胶片杂质以及对变形进行修复，数字修复基于机器学习、深度学习等方法，无需人为介入，通过算法进行全自动的修复，以减少后续的人工成本。此次，腾讯云多媒体实验室采用的就是一种数字修复的解决方案——“超清沉浸感修复引擎”。

该解决方案包括智能分析、画质修复、画质增强和智能编码四大模块。智能分析，就是分析视频的质量和内容，通过算法评估，找出视频中存在的失真和噪点，以便打开相应的画质修复模块；画面修复，是利用多种人工智能修复算法针对老片中常见的竖线、雪花点、噪声、压缩失真、抖动等问题进行修复；画质增强，是在现有的视频基础上进一步提高画质，包括分辨率、帧率、动态范围，甚至是沉浸式等方面；智能编码，能够在低带宽的情况下，尽可能提高视频的质量。所以，四大模块其实就是数字修复过程中的四个关键流程，系统性地解决各种难题。

值得一提的是画质修复中的“人脸修复”模块。其基于自研的人脸修复模型，利用人脸检测、人脸修复和融合模块，将图像修复迁移到视频过程中加入帧间稳定性处理，解决人脸检测稳定性，优化多角度人脸效果，解决视频中动态人脸遇到的复杂场景问题。

夏珍以此次演唱会修复为例，由于灯光较多，颜色种类繁多、多变，一旦照射在人脸，算法就难以处理，为修复带来了一定的麻烦。通过专用的人脸修复算法，经过不断优化和调整，从而解决了这些难题，也为后期工作和优化提供了大量的宝贵经验。

技术迭代带来超清沉浸感

李松南强调，数字修复技术并不局限于老片修复。随着终端设备的升级换代，目前认为品质尚可的视频，几年之后，可能为了适配新终端的更新换代，也需要画质修复，届时数字修复技术将发挥出作用。“随着技术不断迭代，如果我们过几年再来修复这场《热·情》演唱会的话，效果可能会更好。”他说道。

腾讯云多媒体实验室专家研究员夏珍

夏珍说，数字修复技术的迭代主要有两个方向，即系统级别和算法级别。系统级别就是整个流程的相关技术迭代。他以智能分析为例，最初的解决方案中并未包含智能分析引擎，这是由于此前接触的视频种类不多的缘故。但加入该引擎后，智能分析的作用越来越重要，原因在于不同年代视频的失真的类型强度都有较大的差别，需要进行分析后，才能作出正确的判断。同时，目前智能分析模块还必须不断提升适应能力，以尽可能减少人力介入，以便适应更多不同类型的视频。

同时，对于算法的优化、调整和整合，这也是系统级别技术迭代的重要方向之一。夏珍认为，视频超分是一个典型的算法迭代的例子，从最传统的降噪、背景增强到深度学习，再从人工迈向自动化，算法的不断迭代，效果也随之大大提升。

沉浸感官是另一个重要的方向。夏珍表示，无论是解码还是视频处理，以及AR/VR等应用场景，沉浸感官都是发展的重要方向。在视频处理的过程中，往往采用提高分辨率、帧率、微深度来提升沉浸感。

修复过程

李松南介绍道，腾讯云多媒体实验室设有沉浸式组，专注于类似全息视频、VR360、自由视点、3D重建、六自由度等相关技术方向。视频处理方面，还是聚焦在2D视频的修复和增强。在原有分辨率和帧率上，尽可能在2D条件下，提升用户的沉浸感。当然，未来也会在3D视频、三自由度、六自由度、全息等各方面加大投入。同时，播放设备也会迈向VR等新兴显示设备发展，带来更沉浸的视觉效果。

提到应用场景，他继续说道，画质修复技术将在广电、传媒等行业得到广泛的应用。例如，视频留存、重新上映以及适配现有4K/8K电视设备等，都离不开画质修复技术所带来的全新感官体验。李松南说，未来，实验室会将超清沉浸感的画质修复技术，与更多合作伙伴展开合作，帮助更多经典影视剧、电影以及演唱会等珍贵历史影像传承下去。

助力文化传承，践行社会价值

李松南说，腾讯云多媒体实验室为腾讯CSIG事业群旗下的多媒体通信和处理研发团队，主要工作分为两大部分。“首先是标准相关，即参与国内外多媒体相关的标准制定；其次是技术输出，就是为腾讯内部其他产品部门提供相应的先进技术，例如目前腾讯云音视频、媒体AI中台、数据万象等采用了实验室的相关视频处理技术。其中，画质修复就是属于视频处理中的关键技术之一。”他说道。

关于投入的产出，李松南坦言，腾讯云多媒体实验室只是一个技术部门，并不盈利，而只是将技术输出给腾讯内部各个部门。从公司整体的角度出发，实验室同样带来了一定的社会价值和收益。他透露：“公司非常支持这样公益性的项目。虽然确实会投入一定的人力、算法等成本，但我们都觉得非常值得。”

此前，腾讯云多媒体实验室深度参与了包括《康熙王朝》、《天下人家》等多部经典影视剧高清修复工作。李松南说，此次与宝丽金的合作，是为了表达对张国荣先生的缅怀，其中没有任何的商业行为。虽然修复过程中的机器算法、bad case等都需要人工辅助调整，难免会带来一定的基础服务和人力成本的投入。“整个修复初衷是希望用我们的技术去践行腾讯“可持续社会价值创新”的理念，并不涉及任何商业化行为，只是为了推动经典文化的传承。”

最后，李松南直言，在此次张国荣《热.情》演唱会修复过程中，接触了不少相关机构和团队，并收获了一些新的合作意向，也探讨了不少新的方向。“接下来，希望寻找出更多新的合作方式和方向。一方面，寻找一个既可良性地支撑算法投入，也能实现双方共赢的商业模式；另一方面，结合可持续社会价值创新理念，以公益为目的，将助力具有社会价值的经典文化作品的传承。”■

本文来自微信公众号“福布斯”（ID：forbes_china），作者：Forbes China，36氪经授权发布。