网站设计配色方案,男女直接做那个视频网站,百度置顶广告多少钱,设置网站默认编码#x1f308;前言#x1f308; 这个系列在我学习过程中#xff0c;对音视频知识归纳总结的笔记。因为音视频相关讲解非常稀少#xff0c;所以我希望通过这个音视频系列#xff0c;跟大家一起学习音视频#xff0c;希望减少初学者在学习上的压力。同时希望也欢迎指出文章的… 前言 这个系列在我学习过程中对音视频知识归纳总结的笔记。因为音视频相关讲解非常稀少所以我希望通过这个音视频系列跟大家一起学习音视频希望减少初学者在学习上的压力。同时希望也欢迎指出文章的不足。 本期内容主要讲解音视频基础知识包含了音视频是如何保存成文件以及如何通过文件播放的通过这个流程讲解音视频编解码封装解封装相关的协议。 音视频录制和播放原理 上图是音视频录制和播放整体的流程通过这个流程我们对音视频的格式和协议进行整体的了解。 视频 一个连续播放的视频文件就是有一串连续的前后存在相关关系的图像构成的通过图像中的内存和它们之间的相互关闭表达整个视频文件所包含的消息。 图像 一般是指静态图像。图像是指一种在二维平面上通过排列像素pix来表达信息的数据组织格式。
1. 位深度 色位深度可以简单理解为表示一个像素的二进制位数决定了每个像素可以呈现的颜色数量。位深度越高表示的颜色种类就越多。常用的位深度有 8bit 或 10bit两种。 ● 8 bit即用8bit / 1 Byte 表示一个像素值取值范围是 [0,255]。 ● 10 bit用10个bit表示一个像素值取值范围是[0,1023]。 上面场景只是单个颜色分量即灰度图像如果是彩色图像每个像素可能包含多个颜色分量通道。例如RGB格式的彩色图像一个完整的图像被分割成蓝绿红三个基色的单色图。 每个通道位深是8 bit则RGB格式图像中每个像素需要24 bit 8 bit * 3表示。 确定颜色位深后根据图像的宽高尺寸确定图像数据体积。 例如1920px * 1080px的RGB图像位深是8 bit则数据体积 192 * 1080 * 3 约等于 6.22MB左右。 2. 颜色空间 彩色图像在实际应用场景下发挥了广泛作用如图像显示和处理等针对不同的场景对图像色彩的表达方式有不同的要求。针对不同场景有不同的颜色数据表达方式即颜色空间。 颜色空间是一种利用整数区间来表示颜色的模型其维度可以分为一维二维三维等。三维空阿金应用最为广泛常见的三维颜色空间有RGB格式YUV格式。本文重点讲解YUV格式。 YUV格式是一种用于表示图像或视频颜色的色彩空间它将颜色分为三个分量亮度Y和两个色度U和V。这种格式广泛应用于视频压缩和视频传输因为它与人眼对亮度和色彩的感知特性更为契合。 y:明度u:蓝色色度与亮度的差v:红色色度与亮度的差图像的每个像素点由yuv三个值来确定。 3. 压缩算法 无算压缩方法压缩率比较低压缩后体积较大没有信息损失可通过压缩信息完全恢复原始信息。 有损压缩方法压缩率较高压缩后体积较小存在信息缺失压缩后只能近似逼近原始信息无法完全还原原始信息。 YUV格式 组成视频的基本单元图像称为帧本质与普通静态图没有任何区别。视频中每秒内容所包含的视频帧的数量称为帧率单位是fpsframe per seoncd。在各帧图像质量相近的情况下帧率越高的视频播放越流畅但是体积码率也会更高。 在视频压缩编码中图像颜色空间通常使用YUV颜色空间。 YUV采样格式的有4:4:4、4:2:2、4:2:0。
1. 4:4:4 每个亮度像素Y对应一个色度像素U和V色度分量图的尺寸与亮度分量图的相同。 2. 4:2:2 每两个亮度像素Y对应一个色度像素U和V色度分量图的尺寸为亮度分量图的1/2。
3. 4:2:0 每四个亮度像素Y对应一个色度像素U和V色度分量图的尺寸为亮度分量图的1/4。
YUV排列格式
1. packet打包格式先存储一个yuv在存储下一个yuv。
2. planar平面格式先存储y平面再存储u平面在存储v平面。
3. semi-planar先存储y平面在存储uv平面。 H.264协议 应用较为广范的视频编码格式。通过之前我们了解如何计算图像大小视频就是有一连串的图像组成的因此如果不对视频进行压缩那么视频文件就会很大因此需要对音视频进行编解码。 IBP帧
● I帧帧内编码图像帧表示关键帧不需要其他的画面而生成解码靠自己就能重构完整的图像。
● P帧前向预测编码图像帧表示跟前一个关键帧或P帧的差别P帧是参考帧利用与前一帧不同点压缩本帧数据利用空间和时间上的相关性。
● B帧双向预测编码图像帧本帧与前后帧I帧、P帧的差别B帧压缩率更高但解码耗费CPU。
● GOP图像序列两个I帧之间一个图像序列一个GOP中包含一个I帧。 解码时间戳和显示时间戳
● DTS解码时间戳这个时间戳的意义在于告诉播放器该在什么时候解码这一帧的数据。
● PTS显示时间戳这个时间戳用来告诉播放器该在什么时候显示这一帧的数据。 音视频同步方式 Audio Master同步视频到音频。 Video Master同步音频到视频。 External Clock Master同步音频和视频到外部时钟。 视频主要概念补充
视频码率kb/s是指视频文件在单位时间内使用的数据流量也叫码流率。码率越大说明单位时间内取样率越大数据流精度就越高。
视频帧率fps通常说一个视频的25帧指的就是这个视频帧率即1秒中会显示25帧。帧率越高给人的视觉就越流畅。
视频分辨率分辨率就是我们常说的640x480分辨率、1920x1080分辨率分辨率影响视频图像的大小。 音频 在音频中有两个概念比较重要一个是采集到的原始音频数据PCM和压缩后的音频数据AAC。 PCM格式 为了将模拟信号声音数字化需要进行 采样量化编码三个过程。 根据Nyguist采样定律要从采样中完全恢复原始信号波形采样频率必须至少是信号中最高频率的两倍。 前面提到人耳能听到的频率范围是[20H~20kHz]所以采样频率一般为44.1Khz这样就能保证声音到达20Khz也能被数字化从而使得经过数字化处理之后人耳听到的声音质量不会被降低。 采样是在离散的时间点上进行的采样值本身在计算机中也是离散的采样值的精度取决于它的的多少位表示即量化。 AAC协议 高级音频编码是一种声音数据的文件压缩格式分为ADIF和ADTS两种文件格式。 ADIF高级数据交换格式特征是可以确定找到的这个音频的开始不需要进行音频数据流中间开始的解码即解码必须在明确定义的开始处进行常用在磁盘文件中。 ADTS: 音频数据传输流特征是有一个同步字的比特流解码可以再流的任何位置开始。流媒体更常使用的。 音频主要概念补充
采样频率每秒钟采样点的个数常用的采样频率有 2200022kHz 无线广播。 4410044.1kHzCD音质。 4800048kHz 数字电视DVD。 9600096kHz 蓝光高清DVD。 192000(192kHz): 蓝光高清DVD。
采样精度采样位深每个样本点的大小常用大小为 8bit24bit。
通道数单声道双声道四声道5.1声道。
比特率每秒传输的bit数单位为bpsBit Per Second 间接衡量声音质量的一个标准。
码率 压缩后的音频数据的比特率。码率越大压缩效率越低音质越好压缩后数据越大。 码率 音频文件大小/时长。
帧每次编码的采样单元数比如MP3通常是1152个采样点作为一个编码单元AAC通常是1024个采样点作为一个编码单元。
交错模式数字音频信号存储的方式。数据以连续帧的方式存放即首先记录帧1的左声道样本和右声道样本再开始帧2的记录... 非交错模式首先记录的是一个周期内所有帧的左声道样本在记录所有右声道的样本。 封装格式 就是将已经编码压缩好的视频流、音频流及字幕按照一定的方案放到一个文件中便于播放软件播放。 H264AAC封装为FLV或MP4是最为流行的模式。 总结 以上就是本期内容主要讲解了视频图像的YUV格式和H264编码以及音频的PCM格式和AAC编码。 如果感觉本期内容对你有帮助欢迎点赞关注收藏Thanks♪(ω)
