问大家一个问题,如果给朋友分享一段视频,会不会遇到视频质量压缩、变得有点模糊的问题呢?
绝大部分情况下,通过微信、QQ等软件发送视频文件都会“惨遭”压缩,然后视频出现失真。并不是这些软件故意给用户添堵,考虑到国内网络带宽使用普遍存在差异,大部分人通信流量仍未实现真正的“体验自由”,同时城乡信号覆盖差距较大导致平均传输速率偏低,综合这些因素,软件开发商只能通过压缩视频来保证传输效率。
对付压缩失真,其实并不乏解决方案。要么通过网盘上传分享,要么面对面快传。但这些办法无疑增加了处理步骤,甚至面对远距离传输这一常见场景,直接瘫痪不可行。
既然物理无法对抗魔法,那就只能用魔法打败魔法。压缩不可避免,那么压缩以后还原清晰度不就好了?
最近国家知识产权局官网公开了华为的一项“重建图像并增强”的图像处理专利,该专利旨在解决视频传输过程中压缩导致的失真问题,通过这项技术能有效减少视频图像的视觉失真。

该处理方法首先会通过图像获取模块获取重建图像,即对视频画面初始图像信息进行分析计算后得出比较清晰的图像基础,然后基于图像的信息呈现,利用算法和硬件模块存储计算对图像增强处理。经过一系列处理以后,最终提高图像整体清晰度。

以上是发明方法中提到的视频图像处理大致步骤,其实该发明方法涉及视频图像增强的具体处理推演并没有简述那样轻描淡写。这套专利背后涵盖了存储、处理器、算法、图像获取等多个模块,特别是调用具体模块分工协作,具体任务具体精细化作业,工程量之复杂,值得仔细分析。
首先在图像传感器(手机镜头)记录视频图像以后,要经过视频编码处理,得到对应的码流。这一点很关键,对于图像重建,码流必须始终贯一,不能改变,否则会影响最终图像输出。

编码完成后,得到重建图像前的视频信息,也就是压缩前的视频。
真正大的要来了,进行图像重建前,就要对码流解码。很多人会对这一步疑惑,为什么之前都已经编码了,怎么还要解码?图像信息的生成是不带有码,也就是计算机能听得懂、能处理的语言。经过编码以后,每一帧图像就从图形变成了符号,经过解读,图像计算就能有针对性地对图像重建。
生成重建图像后,就要送往解码端进行后处理。在后处理阶段,需要对图像中的纹理区域增强纹理,通过GANEF(生成对抗网络的增强滤波器)对重建图像作图像增强,生成纹理增强图像或残差图像。
一般而言,主动提升视频图像清晰度会在没有纹理的区域生成虚假的纹理,也就是“伪像”。针对这一点,华为这份专利花了很大的篇幅来阐述这套处理方法是如何解决这种虚假纹理。
针对图像中的纹理区域,该处理方法根据纹理复杂程度计算标记出对应权重,以权重衡量纹理的深浅、必要,在后续作衰减处理。

前面提到,利用滤波器增强图像,生成纹理增强图像或残差图像,这两类图像在方法中称之为“中间图像”,其中残差图像即图像增强后计算出的纹理信息。在此基础上,以纹理复杂度权重与残差图像相乘得出残差更新图像,依据中间图像(纹理增强图像、残差图像)各区域的纹理复杂度权重有效进行有针对性衰减。浅显的多余纹理被去除,浓厚的纹理衰减并得到保留,从而使这些纹理不影响图像的视觉主观质量。
纹理衰减有可能会对图像保真度有所削弱,因为AI计算并不总是精准计算,尤其是不同场景的图像差异较大,包括曝光、锐度等参数也会因为AI识别差异产生不同的图像。故而需要对图像进行高保真处理。
所谓高保真处理,就是由重建图像生成基础保真图像,对中间图像(纹理增强图像)与基础保真图像多个区域分别对应加权计算,得到重建图像对应的增强图像。

在最后部分,通过影像融合技术,将以上处理得出的图像合成为一帧一帧完整图像,视频经过压缩后不仅能较大程度保持高保真,即便是经过图像增强也能大幅减少多余纹理的负面影响,也就是说在向朋友分享视频不用担心传输模糊、纹理杂乱的内容了。


值得注意的一点,该项专利展示的可不仅仅是视频高保真的处理办法,在我看来,这也是计算摄影向视频领域的延展。早在多年前,华为就已经在计算摄影领域大展拳脚,并在P50系列上提出了“计算光学”的概念。以此为突破口,即便影像硬件不如别人的情况下,依旧在去年斩获DXO Mark总分第一名,可谓是大放异彩。
请注意,这仅仅是拍照方面,并不代表视频强悍如斯。既然“计算光学”取得了重大的成功,那就意味着引申至视频拍摄也能获得奇效。从专利不难看出,类似在视频领域开发计算摄影能力必不止此一支,这只是万千专利中的冰山一角,更强的技术或许还未公开罢了。
如若转载,请注明出处:https://www.dasum.cn/18276.html