目录

视频编码器基础认知

什么是视频编解码器

为什么需要视屏编解码器

视频编码器与数字视频容器

视频编码标准的历史

通用编解码器

1、图片分区

查看分区

2、预测

3、转换

使用全部像素形成每个系数

4、量化

5、熵编码

VLC编码

算术编码

6、比特流格式

H.264 比特流

检查H.264比特流

总结

视频编码器基础认知

什么是视频编解码器

简单来说就是用于压缩或解压数字视频的软件或硬件

编码是信息从一种形式或格式转换为另一种形式的过程，解码是编码的反向。

适用于视频

编码是将视频、音频的原始格式的文件通过压缩技术转换成另一种格式（视频如h.264，h.265，m-jpeg等）。

解码是编码的反向过程。应用中，一般是将h.264,h.265格式数据解码成如YUV格式裸流交给显示器显示。

为什么需要视屏编解码器

需要在有限的带宽或存储空间下提升视频的质量。

简单计算一下，30帧，每像素24bit，分辨率480x240的视频，需要的带宽约为82.944Mbps。电视或互联网提供 HD/FullHD/4K 只能靠视频编解码器

视频编码器与数字视频容器

初学者一个常见的错误是混淆数字视频编解码器和数字视频容器。

我们可以将容器视为包含视频（也很可能包含音频）元数据的包装格式，压缩过的视频可以看成是它承载的内容。

容器格式也被称为封装格式允许将多个数据流嵌入到单个文件中。 例如：可以放很多.txt的压缩包ZIP格式，和多媒体的播放格式如MP4和AVI。

通常，视频文件的格式定义其视频容器。例如，文件 video.mp4 可能是 MPEG-4 Part 14 容器，一个叫 video.mkv 的文件可能是 matroska。我们可以使用 ffmpeg 或 mediainfo 来完全确定编解码器和容器格式。

视频编码标准的历史

在我们跳进通用编解码器内部工作之前，让我们回头了解一些旧的视频编解码器。

视频编解码器 H.261 诞生在 1990（技术上是 1988），被设计为以 64 kbit/s 的数据速率工作。它已经使用如色度子采样、宏块，等等理念。在 1995 年，H.263 视频编解码器标准被发布，并继续延续到 2001 年。

在 2003 年 H.264/AVC 的第一版被完成。在同一年，一家叫做 TrueMotion 的公司发布了他们的免版税有损视频压缩的视频编解码器，称为 VP3。在 2008 年，Google 收购了这家公司，在同一年发布 VP8。在 2012 年 12 月，Google 发布了 VP9，市面上大约有 3/4 的浏览器（包括手机）支持。

AV1 是由 Google, Mozilla, Microsoft, Amazon, Netflix, AMD, ARM, NVidia, Intel, Cisco 等公司组成的开放媒体联盟（AOMedia）设计的一种新的视频编解码器，免版税，开源。第一版 0.1.0 参考编解码器发布于 2016 年 4 月 7 号。

通用编解码器

我们接下来要介绍通用视频编解码器背后的主要机制，大多数概念都很实用，并被现代编解码器如 VP9, AV1 和 HEVC 使用。 需要注意：我们将简化许多内容。有时我们会使用真实的例子（主要是 H.264）来演示技术。

1、图片分区

第一步是将帧分成几个分区，子分区甚至更多。 为何要分区？ 有许多原因，比如，当我们分割图片时，我们可以更精确的处理预测，在微小移动的部分使用较小的分区，而在静态背景上使用较大的分区。

通常，编解码器将这些分区组织成切片（slices ）或条带（tiles），宏（或编码树单元）和许多子分区。 这些分区的最大大小有所不同，HEVC 设置成 64x64，而 AVC 使用 16x16，但子分区可以达到 4x4 的大小。

回顾帧的分类。你也可以把这些概念应用到块，因此我们可以有 I 切片，B 切片，I 宏块等等。

查看分区

我们也可以使用 Intel® Video Pro Analyzer（需要付费，但也有只能查看前 10 帧的免费试用版）。

2、预测

一旦我们有了分区，就可以在它们之上做出预测。 视频编解码——消除视频冗余的方法及原理

对于帧间预测，我们需要发送运动向量和残差

对于帧内预测，我们需要发送预测方向和残差

3、转换

在我们得到残差块（预测分区-真实分区）之后，我们可以用一种方式变换它，这样我们就知道哪些像素我们应该丢弃，还依然能保持整体质量。这个确切的行为有几种变换方式。

尽管有其它的变换方式，但我们重点关注离散余弦变换（DCT）。DCT 的主要功能有：

将像素块转换为相同大小的频率系数块。

压缩能