1.2.1 什么是视频编码标准
值得注意的是,视频编码标准只规定了码流的语法语义和解码器,只要求视频编码后的码流符合标准的语法结构,解码器就可以根据码流的语法语义进行正常解码。因此,符合某个视频编码标准的编码器是有很大自由度的,只要编码后的码流符合标准规定即可。
在编码器输出的码流中,数据的基本单位是语法元素,每个语法元素由若干比特组成,它表征了某个特定的物理意义,如预测类型、量化参数等。视频编码标准的语法规定了各个语法元素的组织结构,而语义则阐述了语法元素的具体含义。在编码器输出的比特码流中,每比特都隶属于某个语法元素,每个语法元素在标准中都有相应的解释。可见,视频编码标准规定了编码后码流的语法语义,也就阐明了从比特码流提取语法元素并进行解释的方法,也就是视频的解码过程。
然而,在编码标准的制定过程中,为了确定如何对语法元素进行合理的设计,首先要明确该标准所支持的编码方式,以及可能出现的相应编码方法。在标准的制定过程中,标准化组织会向业界广泛征集各类提案。这些提案当中包含了大量编码新技术的设计方案,并会逐渐形成标准组织发布的参考软件(Reference Software),这些参考软件通常包含一整套标准的编解码器。由于参考软件的开发凝聚了广大科研人员的新思路,并且经过标准提案的多种性能测试,参考软件中的编码方法往往代表了当时先进的编码技术,因此,标准组织发布的参考软件不仅可用于标准开发过程中的测试和研究,也常常被科研人员作为研究先进视频编码技术的方法和平台,甚至作为商业开发的基础和参考。
目前,国际上制定视频编码标准的组织是国际电信联盟电信标准化部门(International Telecommunication Union-Telecommunication Standardization Sector, ITU-T[4])、国际标准化组织(International Organization for Standardization, ISO)/国际电工委员会(International Electrotechnical Commission, IEC)。ITU-T制定的视频编码标准通常被称为H.26x系列,包括H.261、H.263(H.263+、H.263++)等,这些标准被广泛应用于基于网络传输的视频通信,如可视电话、会议电视等。ISO/IEC的动态图像专家组(Moving Picture Experts Group, MPEG)制定了著名的MPEG系列视频编码标准,主要应用于视频存储(如VCD/DVD)、广播电视、网络流媒体等。值得一提的是,这两个组织曾经有过3次非常成功的合作。ITU-T与ISO/IEC在视频编码标准中的首次合作形成了H.262/MPEG-2标准,成为风靡一时的DVD的核心技术。2003年两者再次携手,开发了H.264/AVC视频编码标准,涵盖了包括视频广播、视频存储、交互式视频等各式各样的视频应用。2013年携手开发了H.265/HEVC视频编码标准,获得了突出的压缩性能,正在被广泛应用。新一代视频编码标准H.266/VVC同样由ISO/IEC的MPEG和ITU-T的视频编码专家组(Video Coding Experts Group, VCEG)联合制定。