音视频基础知识 音频 视频

音视频基础知识培训

课程定位与课程目标
近年来，直播、短视频行业的相关业务发展迅猛，本书主要介绍其中涉及的Android音视
频开发相关技术。本书一共有11章，分别介绍了音视频基础知识、MediaPlayer、Media
PlayerService、StagefrightPlayer、NuPlayer、OpenMAX框架、FFmpeg项目、FFmpeg源
码分析及实战、直播技术、H.264编码及H.265编码、视频格式分析内容。希望本书能帮
助读者系统学习、化繁为简，在Android音视频开发的道路上不断进步。本书适合具有一
定Android开发基础并且对音视频技术方向感兴趣的读者阅读。
适用学员：从事视频网络建设、音视频采集工作的学者员工
课程设计：

第1章 音视频基础知识
1.1 视频编码
1.2 音频编码
1.3 多媒体播放组件（Android、iOS）
1.4 常见的多媒体框架及解决方案
1.5 相关知识点
1.5.1 帧率
1.5.2 分辨率
1.5.3 刷新率
1.5.4 编码格式
1.5.5 封装格式
1.5.6 码率
1.5.7 画质与码率
1.5.8 DTS与PTS
1.5.9 YUV与RGB
1.5.10 视频帧及音频帧
1.5.11 量化精度
1.5.12 采样率
1.5.13 声道


第2章 H.264编码及H.265编码
2.1 H.264编码框架
2.2 H.264编码原理
2.3 H.264码流分析
10.3.1 H.264编码格式
10.3.2 NAL Header 5
10.3.3 H.264的传输
10.3.4 H.264码流结构
10.3.5 H.264的Level和Profile说明
2.4 H.265编码框架
10.4.1 背景知识
10.4.2 H.265码流结构

第3章 视频格式分析
3.1 MP4格式分析
3.1.1 Box结构
3.1.2 MP4总体结构
3.1.3 movie（moov）box
3.1.4 media box
3.1.5 sample table（stbl）box
3.2 FLV格式分析
3.2.1 FLV文件结构
3.2.2 File Header（文件头）
3.2.3 Body
3.2.4 Tag
3.3 F4V格式分析
3.3.1 file type box
3.3.2 movie box
3.3.3 movie header box
3.3.4 track box
3.3.5 media box
3.3.6 media information box
3.3.7 sample table box
3.4 TS格式分析
3.4.1 TS格式介绍
3.4.2 TS流包含的内容
3.4.3 TS包头解析
3.4.4 TS包传输部分
3.4.5 节目专用信息PSI（Program Specific Information）
3.5 AVI格式分析
3.5.1 AVI整体结构
3.5.2 AVI信息块（＇hdrl＇ LIST块）
3.5.3 AVI数据块（＇movi＇ LIST块）
3.5.4 AVI索引块（＇idxl＇子块）
3.6 ASF格式分析
3.6.1 认识ASF
3.6.2 ASF文件整体结构


第4章　移动平台下的音视频渲染  
4.1　AudioUnit介绍与实践  
4.2　Android平台的音频渲染  
4.2.1　AudioTrack的使用  
4.2.2　OpenSL ES的使用  
4.3　视频渲染  
4.3.1　OpenGL ES介绍  
4.3.2　OpenGL ES的实践  
4.3.3　上下文环境搭建  
4.3.4　OpenGL ES中的纹理  


第5章　音视频的采集与编码  
5.1　音频的采集  
5.1.1　Android平台的音频采集  
5.1.2　iOS平台的音频采集  
5.2　视频画面的采集  
5.2.1　Android平台的视频画面采集  
5.2.2　iOS平台的视频画面采集  
5.3　音频的编码  
5.3.1　libfdk_aac编码AAC  
5.3.2　Android平台的硬件编码器MediaCodec  
5.3.3　iOS平台的硬件编码器AudioToolbox  
5.4　视频画面的编码  
5.4.1　libx编码H  
5.4.2　Android平台的硬件编码器MediaCodec  
5.4.3　iOS平台的硬件编码器  


第6章 直播技术
6.1 直播原理
6.2 直播架构
6.3 直播过程
6.3.1 采集数据
6.3.2 渲染处理
6.3.3 编码数据
6.3.4 推流
6.3.5 CDN分发
6.3.6 拉流
6.3.7 播放流数据
6.3.8 直播推流完整案例
6.4 流媒体服务器搭建
6.5 FFmpeg推流到流媒体服务器的过程
6.6 直播优化那些事
6.6.1 卡顿优化
6.6.2 延时优化
6.6.3 数据代理优化
6.6.4 首屏秒开优化
6.6.5 弱网优化
6.6.6 运营商劫持优化
6.6.7 CDN节点优化


第7章　FFmpeg的介绍与使用  
7.1　FFmpeg的编译与命令行工具的使用  
7.1.1　FFmpeg的编译  
7.1.2　FFmpeg命令行工具的使用  
7.2　FFmpeg API的介绍与使用  
7.3　FFmpeg源码结构  
7.3.1　libavformat与libavcodec介绍  
7.3.2　FFmpeg通用API分析  
7.3.3　调用FFmpeg解码时用到的函数分析  
7.3.4　调用FFmpeg编码时用到的函数分析  
7.3.5　面向对象的C语言设计  

骆飞老师的其它课程