基于单环和肤色选择的FGS视频编码

Internet的快速发展使得网络多媒体的需求急剧增加，这就对视频的编码技术提出了新的要求。网络的异构性和缺乏QoS(服务质量)保证，使得带宽会在一个较大的范围内波动。传统的用于解决该问题的视频编码方法有联播和码流转换，但这两种方法的码率变化均被限制在几个特定的码率中，很难实现传输过程中任意码流的动态切换，从而不能充分利用信道的容量。解决这些问题的一个有效方法就是粒度可分级视频编码，它将原始视频编码成基本层码流和增强层码流，其中基本层码流是必须要传输的，它能够单独进行解码。增强层码流可以根据网络当时的带宽情况在任何一个地点截断。但FGS获得的这些特性都是以牺牲编码效率为代价的[1]。在增强层中引入肤色选择的算法，虽然能够快速地定位出视频中的感兴趣区域，通过对其进行位平面提升和优先编码来改善视频的主观质量，但也会在一定程度上降低整体的编码效率。因此，针对编码效率低的问题，本文提出了在基本层中引入单环算法，以提高FGS的编码效率。
1 基于肤色选择的FGS视频编码
1.1 肤色选择算法介绍[2]
用肤色选择算法对FGS进行选择增强，充分利用了人的视觉特性。相对于其他较复杂的人脸检测算法，该算法具有复杂度低和运算简单等特点。对于人脸和头肩占主要部分的序列，可以认为人脸区域主要就是肤色区域。因此在这类视频序列中，用肤色区域代替人脸区域作为感兴趣区域，并对其进行位平面提升、优先编码和传输，从而提高感兴趣区域的编码效率，并改善视频的主观质量。
大量实验表明，不同人种的肤色主要受到亮度信息的影响，而受色度信息的影响很小，且肤色在CbCr空间的分布具有很强的聚类特性，因此本文中直接采用通用阈值(133≤Cr≤173，77≤Cb≤127)来对肤色区域进行判断。对于序列中的所有帧图像的每一个像素有：

将M=1的像素定为肤色点,然后对每帧图像中的每个宏块内M值为1的像素点进行统计,将统计结果与预先给定的阈值T进行比较，来判断该宏块是否进行选择性增强。如果大于或等于阈值T，则对该宏块进行选择性增强，反之，则不进行选择性增强。图1为Akiyo序列、Foreman序列和Carphone序列的原始图、肤色分割图和选择性增强的宏块图。

1.2 基于肤色选择的FGS视频编码
通过上述的肤色选择算法来定位出人脸区域，并将其作为感兴趣区域，引入到FGS编码器中。与其他人脸检测算法相比，该方法具有复杂度低、自适应选择和运算简单等优点。
2 基于单环与肤色选择的FGS视频编码
采用肤色选择算法提高视频序列感兴趣区域的编码效率和改善视频主观质量的同时，也降低了FGS的整体编码效率。单环算法由于使用了更高的扩展基本层（基本层+增强层）图像来用作基本层的参考图像，因此能够较好地提高整体编码效率。所以本文提出了基于单环的FGS视频编码与基于肤色选择的FGS视频编码相结合的方法（基于单环和肤色选择的FGS视频编码）来同时提高FGS的整体编码效率和视频的主观质量。其编码原理图如图2所示。