第三章 编码结构
所谓编码结构，即编码时的分层处理架构和编码后码流的语法架构。优异的编码结构设计可以增强各种应用下操作的灵活性以及数据损失的鲁棒性。因此，编码结构是视频编码标准所要考虑的最底层、最基础、最关键的模块，其中，编码时的分层处理架构主要针对于送入编码器的处理单元是如何划分和构建的；编码后码流的语法架构则偏重于编码后的码流是如何组成的。
3.1 编码时的分层处理架构
编码时分层处理架构研究的主要目的是解决如何更高效地节省码流、如何提高数据丢失的鲁棒性、如何适应大分辨率视频的编码等。为此，不同的视频编码标准对编码器的输入都做了较为深入地探索。
3.1.1 H.264/AVC
H.264/AVC为了节省码流，编码时采用分层处理架构，主要包括视频序列、图像、片、宏块、子块5个层次，如下图所示。
视频序列：由一幅幅图像组成的视频。
图像：即编码图像，是视频的一帧或者一场（运动较小的图像宜采用帧编码方式，运动较大的图像宜采用场编码方式）。
片（Slice）：一个编码图像可以划分为一个或者更多的片，每片包含整数个宏块，即每片至少包含一个宏块，最多时可包含整个编码图像的宏块。片分为I片、P片、B片、SP片和SI片，其中，I片只包含I宏块，P片可包含I宏块和P宏块，B片可包含I宏块和B宏块。
宏块（Macro Block）：宏块是H.264/AVC编码器的基本处理单元，大小为16*16，一个宏块由1个16*16亮度像素和2个8*8色度像素组成，每个图像中，若干宏块被排列成片的形式。
子块（Block）：子块由宏块划分而得。
3.1.2 H.265/HEVC
H.265/HEVC相较于以往的视频编码标准，如H.264/AVC，在编码结构上添加了更多新的语法结构，有着更加清晰的分层处理架构，从视频序列、图像组（Group of Pictures, GOP）、片（Slice）、片段（Slice Segment, SS）到编码树单元（Coding Tree Unit, CTU）、编码单元（Coding Uint, CU）都有着明确的含义。
视频序列：由若干时间连续的图像构成。
GOP：有两种GOP类型，封闭式GOP和开放式GOP，其中，封闭式GOP的每一个GOP均以IDR（Instantaneous Decoding Refresh）图像开始，各个GOP之间独立编码；开放式GOP中的第一个GOP是IDR图像，后续GOP中的第一个帧内编码图像为non-IDR图像，即后面GOP中的帧间编码图像可以越过non-IDR图像使用前一个GOP中已编码图像做参考图像，如下图所示。
片：每个GOP又被划分为多个片（默认情况下，一个片就是一帧图像），片与片之间进行独立编解码，其主要目的之一是在数据丢失情况下进行重新同步。
片段：每个片由一个或多个片段组成。
CTU：一个SS在编码时，先被分割为大小相同（64*64）的CTU，每个CTU包含一个亮度树形编码块（Coding Tree Block, CTB）和两个色差树形编码块。
CU：每个CTU按照四叉树分割方式被划分为不同类型的CU，从Slice到CU的划分示例如下图。
3.1.3 AVS1
3.1.4 AVS2
3.1.5 SAVC1
3.1.6 SVAC2
3.1.7 VP8
3.1.8 VP9
3.1.9 AV1
3.2 编码后码流的语法架构
编码后码流语法架构的主要目的是解释编码后的码流的组成结构以及它们各个基本单元的具体含义，主要涉及到句法和语义。其中，句法表征句法元素（数据的基本单元）的组织结构，语义阐述句法元素的具体含义。不同视频编码标准之间的差异，说白了就是它们的语法和语义不同，所以不同标准的码流只能用对应的解码器进行解码。
3.2.1 H.264/AVC
同所有视频编码标准一样，H.264/AVC码流数据的基本单元是句法元素，每个句法元素由若干比特组成，H.264/AVC的句法元素被组织成序列、图像、片、宏块和子宏块五个层次。
H.264/AVC分层结构的最大特点是将原本属于序列和图像头部的大部分句法元素游离出来形成序列和图像两级参数集（即SPS和PPS），其余部分则放入片层。参数集是一个独立的数据单元，不依赖于参数集外的其他句法元素，参数集只是在片层句法元素需要的时候被引用，而且，一个参数集并不对应某个特定的图像或序列，同一个序列参数集可以被多个序列中的图像参数集引用，同理，同一个图像参数集也可以被多个图像引用。只在编码器认为需要更新参数集内容的时候才会发送新的参数集，正是因为如此，可以被多次重发或者采用特殊技术加以保护（参数集与参数集外部的句法元素处于不同信道中，因此可以使用更加安全但成本更高的通道来传输参数集）。