视频压缩
视频压缩（英语：Video compression）是指运用资料压缩技术将数字视频资料中的冗余信息去除，降低表示原始视频所需的资料量，以便视频资料的传输与存储。实际上，原始视频资料的资料量往往过大，例如未经压缩的电视质量视频资料的比特率高达216Mbps，绝大多数的应用无法处理如此庞大的资料量，因此视频压缩是必要的。目前最新的视频编码标准为ITU-T视频编码专家组（VCEG）和ISO／IEC动态图像专家组（MPEG）联合组成的联合视频组（JVT，Joint Video Team）所提出的H.264/AVC[1]。
简介
[编辑]视频压缩通常包含了一组编码器和解码器。编码器将原始的视频资料转换成压缩后的形式，以便进行传输与存储。解码器则是将压缩后的形式转换回视频资料的表示。一组成对的编码器与解码器通常被合称为编解码器（CODEC、enCOder/DECoder）。
压缩方法
[编辑]
资料压缩是透过去除资料中的冗余信息而达成。就视频资料而言，资料中的冗余信息可以分成四类：
- 时间上的冗余信息（temporal redundancy）
- 在视频资料中，相邻的帧（frame）与帧之间通常有很强的关连性，这样的关连性即为时间上的冗余信息。
- 空间上的冗余信息（spatial redundancy）
- 在同一张帧之中，相邻的像素之间通常有很强的关连性，这样的关连性即为空间上的冗余信息。
- 统计上的冗余信息（statistical redundancy）
- 统计上的冗余信息指的是欲编码的符号（symbol）的几率分布是不均匀（non-uniform）的。
- 感知上的冗余信息（perceptual redundancy）
- 感知上的冗余信息是指在人在观看视频时，人眼无法察觉的信息。
右上图为一个典型的视频编码器。在进行当前信号编码时，编码器首先会产生对当前信号做预测的信号，称作预测信号（predicted signal），预测的方式可以是时间上的预测（inter prediction），亦即使用先前帧的信号做预测，或是空间上的预测（intra prediction），亦即使用同一张帧之中相邻像素的信号做预测。得到预测信号后，编码器会将当前信号与预测信号相减得到残余信号（residual signal），并只对残余信号进行编码，如此一来，可以去除一部分时间上或是空间上的冗余信息。接着，编码器并不会直接对残余信号进行编码，而是先将残余信号经过变换（通常为离散余弦变换）然后量化以进一步去除空间上和感知上的冗余信息。量化后得到的量化系数会再透过熵编码，去除统计上的冗余信息。
在解码端，透过类似的相反操作，可以得到重建的视频资料。
衡量
[编辑]衡量视频压缩技术的优劣，可以从运算复杂度和压缩质量两方面来看。就运算复杂度而言，理想的编码器运算复杂度越低越好。而就压缩质量而言，必须同时考虑压缩后视频的比特率和失真程度。压缩后的比特率和失真程度皆为越低越好，两者之间存在一个权衡关系，理想的编码器旨在追求能够提供比特率和失真程度间的最佳折衷关系。
一般情况下，编码器的运算复杂度和压缩质量之间也存在一个折衷关系，根据应用的不同而有所抉择。例如当应用为视频资料的存储时，可以选择运算复杂度和压缩质量较高的设计。而当应用为视频会议或是手机视频通话，受限于即时（实时）通信的要求或是有限的运算资源，可能会选择运算复杂度和压缩质量较低的设计。
由于编码后的影像质量最终是由人眼所判断的，在衡量失真程度时，应使用与人类视觉感知相符的影像质量衡量标准。然而，传统所使用的衡量标准像是峰值信噪比和人类视觉感知不全然相关[2]。近几年已有基于人类视觉感知的影像质量衡量标准被提出，例如结构相似性指针[3]（结构相似性 index，SSIM index）与视觉信息忠诚[4]（visual information fidelity，VIF），并且在编码器的设计中被使用[5]，进一步提升了压缩后的影像质量。
标准
[编辑]视频编码标准主要是由ITU-T与ISO／IEC两大组织制定而成，其发展如下表所示。
| 年份 | 标准 | 制定组织 | 解除著作权保护 （DRM-free） |
主要应用 |
|---|---|---|---|---|
| 1984 | H.120 | ITU-T | 是 | |
| 1990 | H.261 | ITU-T | 是 | 视频会议、视频通话 |
| 1993 | MPEG-1第二部分 | ISO／IEC | 是 | 影音光盘（VCD） |
| 1995 | H.262/MPEG-2第二部分 | ISO／IEC、ITU-T | 否 | DVD影碟（DVD-Video）、蓝光（Blu-Ray）影碟、数字视频广播（DVB）、SVCD |
| 1996 | H.263[6] | ITU-T | 视频会议、视频通话、3G手机视频（3GP） | |
| 1999 | MPEG-4第二部分 | ISO／IEC | 否 | |
| 2003 | H.264/MPEG-4 AVC[1] | ISO／IEC、ITU-T | 否 | 蓝光（Blu-Ray）影碟、高清DVD（HD DVD）、数字视频广播（DVB）、流媒体、视频录制 |
| 2013 | 高效率视频编码（H.265/HEVC） | ISO/IEC、ITU-T | 否 | 超高清蓝光光盘（UHD Blu-Ray）、数字视频广播（DVB）、流媒体、视频录制 |
| 2020 | 多功能视频编码（H.266/VVC） | ISO/IEC、ITU-T | 否 | 未普及 |
不同视频编码标准之间的性能比较可以在文献[7]中找到。此外还有VP9、AV1等其他编码标准。
参见
[编辑]外部链接
[编辑]参考资料
[编辑]- ^ 1.0 1.1 Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC), May 2003.
- ^ Zhou Wang and Alan C. Bovik, "Mean squared error: Love it or leave it? - A new look at signal fidelity measures," IEEE Signal Processing Magazine, vol. 26, no. 1, pp 98−117, Jan. 2009.
- ^ Zhou Wang, Alan C. Bovik, Hamid R. Sheikh, and Eero P. Simoncelli, "Image quality assessment: from error visibility to structural similairty," IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600−612, Apr. 2004.
- ^ H. R. Sheikh and A. C. Bovik, "Image information and visual quality," IEEE Trans. Image Process., vol.15, no.2, pp.430−444, Feb. 2006.
- ^ Z. Y. Mai, C. L. Yang, K. Z. Kuang and L. M. Po, "A novel motion estimation method based on structural similarity for H.264 inter prediction,” in Proc. IEEE Int. Conf. on Acoustics, Speech, and Signal Processing, vol. 2, pp. 913−916, May 2006.
- ^ ITU-T, "Video coding for low bit rate communications," ITU-T Recommendation H.263, version 2, Jan. 1998.
- ^ Thomas Wiegand, Heiko Schwarz, Anthony Joch, Faouzi Kossentini, and Gary J. Sullivan, "Rate-constrained coder control and comparison of video coding standards," IEEE Trans. Circuits Syst. Video Technol., vol. 13, no. 7, July 2003.