H265

一、名词

CTU: 编码树单元
CU: 编码单元
PU: 以CU为根，对CU进行划分,一个预测单元PU包含一个亮度预测块PB和两个色度预测块PB.
TU: 以CU为根，变换单元TU是在CU的基础上划分的，跟PU没有关系，采用四叉树划分方式，具体划分有率失真代价决定，下图给出了某个CU划分成TU的结构。

二、基础结构

HEVC Encoder整体框架：

HEVC Encoder

CU是用作帧间和帧内编码的基础模块，它的特点是方块，它的大小从8×8到最小64×64，LCU是64x64，可以使用递归分割的四分树的方法来得到，大的CU适用于图像中比较平滑部分，而小的部分则适用于边缘和纹理较丰富的区域。CU采用四叉树的分割方式，具体的分割过程通过两个变量来标记：分割深度(Depth)和分割标记符(Split_flag)。

在设置CTU大小为64X64的情况下，一个亮度CB最大为64X64即一个CTB直接作为一个CB，最小为8X8，则色度CB最大为32X32，最小为4X4。每个CU包含着与之相关联的预测单元(PU)和我变换单元(TU).

CU

Z扫描顺序：

Z扫描

PU是预测的最基本的单元，是从CU中分割出来的，HEVC中对于skip模式、帧内模式和帧间模式。
帧内预测有2种划分模式，只有在CU尺寸为8x8时，才能用PART_NxN。
帧间有8种划分模式，PU可以使方形也可以使矩形，但是其分割不是递归的，与CU的分割还是有区别的。尺寸最大为64×64到最小4×4。

PU分割模式

TU也是采用四叉树划分，以CU为根，TU可以大于PU，但是却不可以大于CU的大小。
在帧内编码过程中，TU 的尺寸严格小于 PU 的尺寸；
在帧间编码过程中，TU 的尺寸不一定小于PU 的尺寸，但一定小于其对应 CU 的尺寸。

CB, TB

Slice可以包含一个独立的Slice Segment（SS）和多个非独立的SS，一个Slice中的SS可以互相依赖，但不能依赖其它Slice。图中，虚线是SS分隔线，实线是Slice分隔线。

Slice

Tile是一个矩形块，Slice是一个条带。
Tile、Slice需要满足以下两个条件之一：

1. 任一Slice中的所有CTU属于同一个Tile：

条件一

2. 任一Tile中的所有CTU属于同一个Slice：

条件二

三、帧内预测

帧内预测模式共35个（h264有9个），包括Planar，DC，33个方向模式：

帧内预测模式

除了Intra_Angular预测外，HEVC还和H.264/MPEG-4 AVC一样，支持Intra_Planar, Intra_DC预测模式；
. Intra_DC 使用参考像素的均值进行预测；
. Intra_Planar 使用四个角的参考像素得到的两个线性预测的均值;

划分模式：帧内只能使用PART_2Nx2N、PART_NxN两种。

四、帧间预测

Skipped模式：无MV差异和残差信息的帧间预测模式

针对运动向量预测，H.265有两个参考表：L0和L1。每一个都拥有16个参照项，但是唯一图片的最大数量是8。H.265运动估计要比H.264更加复杂。它使用列表索引，有两个主要的预测模式：合并和高级运动向量（Merge and Advanced MV.）。

1. 运动估计准则

最小均方误差（Mean Square Error,MSE）
最小平均绝对误差（Mean Absolute Difference,MAD）
最大匹配像素数（Matching-Pixel Count,MPC）
绝对误差和(Sum Of Absolute Difference,SAD)
最小变换域绝对误差和(Sum Of Absolute Transformed Difference,SATD)

一般用SAD或者SATD。SAD不含乘除法，且便于硬件实现，因而使用最广泛。实际中，在SAD基础上还进行了别的运算来保证失真率。

2. 搜索算法

• dia 菱形
• hex (default) 六边形
• umh 可变半径六边形搜索(非对称十字六边形网络搜索)
• star 星型
• full 全搜索

全搜索： 所有可能的位置都计算两个块的匹配误差，相当于原块在搜索窗口内一个像素一个像素点的移动匹配
菱形搜索： 在x265中实际是十字搜索，仅对菱形对角线十字上的块进行搜索
HM的则是全搜索和TZSearch以及对TZSearch的优化的搜索。

3. MV预测

HEVC在预测方面提出了两种新的技术–Merge && AMVP (Advanced Motion Vector Prediction)都使用了空域和时域MV预测的思想，通过建立候选MV列表，选取性能最优的一个作为当前PU的预测MV，二者的区别：

• Merge可以看成一种编码模式，在该模式下，当前PU的MV直接由空域或时域上临近的PU预测得到，不存在MVD；而AMVP可以看成一种MV预测技术，编码器只需要对实际MV与预测MV的差值进行编码，因此是存在MVD的。
• 二者候选MV列表长度不同，构建候选MV列表的方式也有所区别

Merge
当前块的运动信息可以通过相邻块的PUs运动信息推导出来，只需要传输合并索引，合并标记，不需要传输运动信息。

空间合并候选：从5个不同位置候选中选择4个合并候选

空间合并候选

图中便是5个PU，但是标准规定最多四个，则列表按照A1–>B1–>B0–>A0–>(B2)的顺序建立，B2为替补，即当其他有一个或者多个不存在时，需要使用B2的运动信息。

时间合并候选：从2个候选中选择1个合并候选
从C3、H中选择一个：

时间合并候选

AMVP
构造一个时空PUs的运动矢量候选列表，当前PU遍历候选列表，通过SAD选择最优预测运动矢量。

空间运动矢量候选：从5个位置中左侧、上侧分别选1个共2个候选

而AMVP的选择顺序,左侧为A0–>A1–>scaled A0–>scaledA1，其中scaled A0表示将A0的MV进行比例伸缩。
上方为B0–>B1–B2–>(scaled B0–>scaled B1–>scaled B2)。

然而，x265并不在乎标准，我们要的就是速度，所以在x265的代码中，只能看到它使用AMVP且对应的变量是

且对左侧和上侧分别if-else，选出两个。

时间运动矢量候选：从2个不同位置候选中选择1个候选

C0（右下） represents the bottom right neighbor and C1（中心） represents the center block.

时间运动矢量候选

Skip vs Merge:

Skip vs Merge

分数像素内插：
用于产生非整数采样位置像素值的预测样本。

五、量化变换

六、其它

熵编码
目前HEVC规定只使用CABAC算术编码。

去块效应滤波器
消除反量化和反变换后由于预测误差产生的块效应，即块边缘处的像素值跳变。

块适应产生

自适应样点补偿
通过对重建图像进行分类，对每一类图像像素值进行加减1，从而达到减少失真，提高压缩率，减少码流的作用。

目前自适应样点补偿分为带状补偿，边缘补偿：

1. 带状补偿，按像素值强度划分为不同的等级，一共32个等级，按像素值排序，位于中间的16个等级进行补偿，将补偿信息写进码流，其余16个等级不进行补偿，减少码流。
2. 边缘补偿，选择不同的模板，确定当前像素类型，如局部最大，局部最小，或者图像边缘。

Wavefront Parallel Processing (WPP)
WPP的并行技术是以一行LCU块为单位进行的，但是不完全截断LCU行之间的关系，如下图，Thread1的第二个块的CABAC状态保存下来，用于Thread2的起始CABAC状态，依次类推进行并行编码或解码，因此行与行之间存在很大的依赖关系。通常该方法的压缩性高于tiles。