[TOC]

• 基本知识
  • FFmpeg 资源网站
  • 音视频流
  • 容器
  • 声道
  • 命令种类
  • 处理流程
• 下载
• 目录结构
• 模块列表
  • 显示所有可用的解码器
  • 显示所有可用的编码器
• 显示所有可用滤镜
• 编译
• 执行命令
• 基本查询命令
• 命令基本格式
  • 常用参数
• 视频参数
• 音频参数
• 录制
  • 查看 Mac 上的舍比诶
  • 视频播放
  • 录屏
  • 录屏加上声音
  • 录视频
  • 录制视频加上音频
  • 录音
  • 录制音频裸数据
• 分解复用
  • 抽取音频流
  • 抽取视频流
  • 格式转换
  • 音视频合成
• 处理原始数据
  • 提取 YUV 数据
  • YUV 转 H264
  • 提取 PCM 数据
  • PCM 转 WAV
• 滤镜
  • 简单滤镜
  • 复杂滤镜
  • 举例
    • 添加水印
    • 删除水印
    • 视频缩小1倍
    • 视频裁剪
    • 倍速播放
    • 对称视频
    • 画中画
    • 录制画中画
    • 多路视频拼接
  • 音视频的拼接和裁剪
    • 裁剪
    • 合并
    • hls 切片
  • 视频图片互转
    • 视频转JPEG
    • 视频转 GIF
    • 图片转视频
• 直播相关
  • 推流
  • 拉流保存
  • 转流
  • 实时推流
• ffplay
  • 播放 YUV 数据
  • 播放 YUV 中的 Y 平面

基本知识

FFmpeg 资源网站

http://ffmpeg.org/
https://github.com/FFmpeg

音视频流

在音视频领域，一路音频或视频称为一路流。比如看电影可以选择声道，每个声道就是一个音频流。

容器

文件格式如 MP4、MOV 等称之为容器。容器可以存放多路音视频文件，有的智能存放一路视频流，比如MP4 可以存放一路视频流，多路音频流，多路字母流。

声道

音频中的 channel，一路音频流可以有单声道双声道和立体声。

命令种类

• 基本信息查询
• 录制
• 分解，复用
• 处理原始数据
• 滤镜
• 切割合并
• 图片视频互相转换
• 直播相关

处理流程

除了基本信息查询外，流程处理基本流程都是如下

graph TD
A(input file) -->|demuxer 分解| B[encoded data packets 解码器]
B --> |decoder|C[decoded frames 未压缩的帧即原始视频或PCM音频等]
C --> |encoder|D[encoded data packets 编码器]
D --> |muxer 复用器|E(output file)

muxer是指合并文件，即将视频文件、音频文件和字幕文件合并为某一个视频格式。比如把rmvb格式的视频，mp3格式的音频文件以及srt格式的字幕文件，合并成为一个新的mp4或者mkv格式的文件。
demuxer是muxer的逆过程，就是把合成的文件中提取出不同的格式文件。
在获得解码的未压缩的帧后，对帧进行各种滤镜处理。

下载

下载参考网址： http://ffmpeg.org/download.html

可以直接 clone 源码

git clone https://git.ffmpeg.org/ffmpeg.git

目录结构

image.png

libavutil： 常用工具， hash 器，解码器，及其他工具

libavformat： 多媒体格式的解析封装

libavcodec: 所有音频编解码，不做具体操作，只是将编解码的模块功能插入进来, 提供一系列编解码的实现

libavdevice： 处理音视频设备， 进行音视频采集

libavfilter： 所有音视频的后期处理，比如加滤镜，提供了各种过滤器

libavresample： 对音频重采样

libswresample： 对音频的相关操作，混音重采样

libswscale： 对视频的相关操作，色彩转换和缩放功能

模块列表

使用下面的命令查看都有哪些模块：

./configure --help

Help options:
  --help                   print this message
  --quiet                  Suppress showing informative output
  --list-decoders          show all available decoders 显示所有可用的解码器
  --list-encoders          show all available encoders 显示所有可用的编码器
  --list-hwaccels          show all available hardware accelerators
  --list-demuxers          show all available demuxers
  --list-muxers            show all available muxers
  --list-parsers           show all available parsers
  --list-protocols         show all available protocols
  --list-bsfs              show all available bitstream filters
  --list-indevs            show all available input devices
  --list-outdevs           show all available output devices
  --list-filters           show all available filters

显示所有可用的解码器

解码器把数据编码文件转为模拟视音频

image.png

显示所有可用的编码器

编码器主要把模拟视音频信号压缩数据编码文件

image.png

显示所有可用滤镜

这里有很多音视频特效处理的功能，比如视频缩放、截取、翻转、叠加、跑马灯、视频转GIF等功能

image.png

编译

./configure --prefix=/usr/local/ffmpeg --enable-gpl --enable-nonfree --enable-libfdk-aac --enable-libx264 --enable-libx265 --enable-filter=delogo --enable-debug --disable-optimizations --enable-libspeex --enable-videotoolbox --enable-shared --enable-pthreads --enable-version3 --enable-hardcoded-tables --cc=clang --host-cflags= --host-ldflags=

--enable-gpl： 打开 gpl(通用公共许可证)
--enable-filter=delogo: 打开滤镜中的删除水印
--enable-debug： 调试模式（只在测试环境）
--disable-optimizations：关闭优化（只在测试环境）
--enable-libspeex：应用speex语音压缩，speex 是针对语音的开源免费，无专利保护的音频压缩格式
--enable-videotoolbox：Mac 平台下的低级的框架，可直接访问硬件的编解码器
--enable-shared：生成共享库
--enable-pthreads：使用 Pthread 线程,在类Unix操作系统（Unix、Linux、Mac OS X等）中，都使用Pthreads作为操作系统的线程。Windows操作系统也有其移植版pthreads-win32

如果提示某个库不存在，就需要进行安装，比如 Mac 下安装 libfdk-aac, libx264， libx265：

brew install fdk-aac
brew install x264
brew install x265
brew install nasm
brew install yasm
brew install sdl2

安装完这些缺失的库之后，就可以正常编译,执行如下命令：

make && make install

安装完成后的路径及结构：

image.png

include 文件夹下是头文件

image.png

lib 里是动态库

share 里是文档相关及例子

如果编译后没有 ffplay

image.png

可能有以下几个原因导致：

• 所使用的操作系统没有安装图形库
• 没有安装 SDL2 库。解决办法是通过 brew install sdl2 即可 或 通过 SDL2 源码安装。安装完成后，要重新进行到 ffmpeg目录下，执行 ./configure…命令
• 修改config.h文件，打开 config.h文件找 FFPLAY 关键字，将其后面的 0 修改为 1，保存并退出该文件。在当前目录下执行 make && sudo make install， 修改 config.h文件后，不要再执行./configure …了，否则config.h中的值又都恢复为原来的值了

image.png

ffprobe 是多媒体侦测器
ffplay 是多媒体播放器

执行命令

执行命令一般用以下路径的 ffmpeg

image.png

/usr/local/ffmpeg/bin/ffmpeg

将这个路径加入到环境变量中
vim ~/.bash_profile
添加下面路径
export PATH=$PATH:/usr/local/ffmpeg/bin
生效修改的环境变量
source ~/.bash_profile

基本查询命令

举例：ffmpeg -version

命令基本格式

ffmpeg [全局参数] {[输入参数] -i input_url} ...
-i 用来读取任意数量的输入文件、管道、网络流，如果是多文件索引从 0 开始

ffmpeg [全局参数] {[输出参数] output_url} ...

常用参数

视频参数

音频参数

录制

查看 Mac 上的舍比诶

ffmpeg -f avfoundation -list_devices true -i ""

ffmpeg version 4.2.git Copyright (c) 2000-2019 the FFmpeg developers
  built with Apple LLVM version 10.0.1 (clang-1001.0.46.4)
  configuration: --prefix=/usr/local/ffmpeg --enable-gpl --enable-nonfree --enable-libfdk-aac --enable-libx264 --enable-libx265 --enable-filter=delogo --enable-debug --disable-optimizations --enable-libspeex --enable-videotoolbox --enable-shared --enable-pthreads --enable-version3 --enable-hardcoded-tables --cc=clang --host-cflags= --host-ldflags=
  libavutil      56. 33.100 / 56. 33.100
  libavcodec     58. 55.101 / 58. 55.101
  libavformat    58. 31.104 / 58. 31.104
  libavdevice    58.  9.100 / 58.  9.100
  libavfilter     7. 58.101 /  7. 58.101
  libswscale      5.  6.100 /  5.  6.100
  libswresample   3.  6.100 /  3.  6.100
  libpostproc    55.  6.100 / 55.  6.100
[AVFoundation indev @ 0x7f85b450ed80] AVFoundation video devices:
[AVFoundation indev @ 0x7f85b450ed80] [0] FaceTime HD Camera
[AVFoundation indev @ 0x7f85b450ed80] [1] Capture screen 0
[AVFoundation indev @ 0x7f85b450ed80] AVFoundation audio devices:
[AVFoundation indev @ 0x7f85b450ed80] [0] MacBook Pro 麦克风
[AVFoundation indev @ 0x7f85b450ed80] [1] WH-1000XM3
: Input/output error

视频播放

ffplay /Users/victoryang/Desktop/out.mp4
ffplay 直接跟视频文件

录屏

ffmpeg -f avfoundation -i 1 -r 30 out.yuv

• -f 指定使用 avfoundation 采集数据
• -i 指定从哪儿采集数据，它是一个文件索引号，从查询的设备中可以看出 1 是桌面
• -r 指定帧率。按ffmpeg官方文档说-r与-framerate作用相同，但实际测试时发现不同。-framerate 用于限制输入，而-r用于限制输出

桌面的输入对帧率没有要求，所以不用限制桌面的帧率

录屏加上声音

ffmpeg -f avfoundation -i "1:0" -r 29.97 -c:v libx264 -crf 0 -c:a libfdk_aac -profile:a aac_he -b:a 32k out.flv

• -i "1:0" 1 代表视频索引，0 代表音频索引
• -c:v 表示视频编码器，c 是 codec 的缩写，v 是video的缩写
• -crf 是 x264 的参数。0表示无损压缩
• -c:a 音频编码器
• -profile 是 fdk_acc 的参数，使用 aac_he 压缩数据
• -b:a 指定音频码率， b 是 bitrate的缩写, a是 audio的缩写

录视频

ffmpeg -framerate 30 -f avfoundation -i 0 out.mp4

• -framerate 限制视频的采集帧率, 不限制会报错，根据提示设置
• -f 指定使用 avfoundation 采集数据
• -i 指定视频设备的索引号

录制视频加上音频

ffmpeg -framerate 30 -f avfoundation -i 0:0 out.mp4

录音

ffmpeg -f avfoundation -i :0 out.wav

录制音频裸数据

ffplay /Users/victoryang/Desktop/out.pcm

分解复用

通过 copy 参数提供给 -codec 选项来拷贝流的某种形式，比如只拷贝音频，只拷贝视频，这样就能进行音视频的提取以及合并。流拷贝没有解码和编码步骤，只能进行多路分解和多路复用。

graph TD
A(input file) -->|demuxer 分解| B[encoded data packets 解码器]
B --> |muxer 复用器|E(output file)

没有解码或编码，速度非常快，也没有质量的损失。

抽取音频流

ffmpeg -i /Users/victoryang/Desktop/out.mp4 -acodec copy -vn out.aac

• acodec: 指定音频编码器，copy 指明只拷贝，不做编解码
• vn: v 代表视频，n 代表 no 也就是无视频的意思

抽取视频流

ffmpeg -i /Users/victoryang/Desktop/out.mp4 -vcodec copy -an out.h264

• vcodec: 指定视频编码器，copy 指明只拷贝，不做编解码
• an: a 代表视频，n 代表 no 也就是无音频的意思

格式转换

ffmpeg -i out.mp4 -vcodec copy -acodec copy out.flv

音视频合成

ffmpeg -i out.h264 -i 222.aac -vcodec copy -acodec copy 3333.mp4

处理原始数据

提取 YUV 数据

ffmpeg -i input.mp4 -an -c:v rawvideo -pixel_format yuv420p out.yuv
ffplay -s 宽x高 out.yuv

• -c:v rawvideo 指定将视频转成原始数据
• -pixel_format yuv420p 指定转换格式为yuv420p

YUV 转 H264

ffmpeg -f rawvideo -pix_fmt yuv420p -s 320x240 -r 30 -i out.yuv -c:v libx264 -f rawvideo out.h264

提取 PCM 数据

ffmpeg -i out.mp4 -vn -ar 44100 -ac 2 -f s16le out.pcm
ffplay -ar 44100 -ac 2 -f s16le -i out.pcm

PCM 转 WAV

ffmpeg -f s16be -ar 8000 -ac 2 -acodec pcm_s16be -i input.raw output.wav

滤镜

在编码之前，ffmpeg可以使用libavfilter库中的过滤器处理原始音频和视频帧。 几个链式过滤器形成一个过滤器图形。 ffmpeg区分两种类型的过滤器图形：简单和复杂。

简单滤镜

只有一个输入和输出，都是相同类型，通过在解码和编码之间插入一个额外步骤来实现:

graph TD
A[decoded frames 未压缩的帧即原始视频或PCM音频等]
A --> |简单滤镜|C[filtered frames]
C --> |encoder|D[encoded data packets 编码器]

复杂滤镜

复杂的过滤器图是那些不能简单描述为应用于一个流的线性处理链的过滤器图,例如，当图形有多个输入和/或输出，或者当输出流类型与输入不同时，就是这种情况:

graph TD
A[input 0] 
B[input 1]
C[input 2]
A --> |复杂滤镜|D[filtered frames]
B --> |复杂滤镜|D[filtered frames]
C --> |复杂滤镜|D[filtered frames]
D --> E[output 0]
D --> F[output 1]

-lavfi选项等同于-filter_complex

举例

视频和音频使用-vf和-af别名

添加水印

ffmpeg -i out222.mp4 -vf "movie=logo.png,scale=100:100[watermask];[in][watermask] overlay=30:10 [out]" wuwei.mp4

• movie 指定logo位置
• scale 指定 logo 大小
• overlay 指定 logo 摆放的位置。

删除水印

先找到 logo 位置
ffplay -i /Users/victoryang/Desktop/wuwei.mp4 -vf delogo=x=30:y=10:w=100:h=100:show=1

通过调节位置大小，把绿框框完全覆盖logo，再使用 delogo 删除 logo

ffmpeg -i /Users/victoryang/Desktop/wuwei.mp4 -vf delogo=x=30:y=10:w=100:h=100 delogo.mp4

视频缩小1倍

ffmpeg -i out222.mp4 -vf scale=iw/2:-1 scale.mp4

• scale 指定使用简单过滤器 scale
• iw/2:-1 中的 iw 指定按整型取视频的宽度。 -1 表示高度随宽度一起变化。

视频裁剪

ffmpeg -i wuwei.mp4 -vf crop=in_w-200:in_h-200 -c:v libx264 -c:a copy -video_size 1280x720 vr_new.mp4

crop 格式：crop=out_w:out_h:x:y

• out_w: 输出的宽度。可以使用 in_w 表式输入视频的宽度
• out_h: 输出的高度。可以使用 in_h 表式输入视频的高度
• x : X坐标
• y : Y坐标
  如果 x和y 设置为 0,说明从左上角开始裁剪。如果不写是从中心点裁剪

倍速播放

ffmpeg -i wuwei.mp4 -filter_complex "[0:v]setpts=0.5*PTS[v];[0:a]atempo=2.0[a]" -map "[v]" -map "[a]" speed2.0.mp4

• -filter_complex 复杂滤镜，[0:v]表示第一个（文件索引号是0）文件的视频作为输入。setpts=0.5*PTS表示每帧视频的pts时间戳都乘0.5 ，也就是差少一半。[v]表示输出的别名
• map 可用于处理复杂输出，如可以将指定的多路流输出到一个输出文件，也可以指定输出到多个文件。"[v]" 复杂滤镜输出的别名作为输出文件的一路流。上面 map的用法是将复杂滤镜输出的视频和音频输出到指定文件中

对称视频

ffmpeg -i out.mp4 -filter_complex "[0:v]pad=w=2*iw[a];[0:v]hflip[b];[a][b]overlay=x=w" duicheng.mp4

• hflip 水平翻转
• vflip 垂直翻转

画中画

ffmpeg -i out.mp4 -i wuwei.mp4 -filter_complex "[1:v]scale=w=176:h=144:force_original_aspect_ratio=decrease[ckout];[0:v][ckout]overlay=x=W-w-10:y=0[out]" -map "[out]" -movflags faststart new.mp4

录制画中画

录屏幕加上录制摄像头
ffmpeg -f avfoundation -i "1" -framerate 30 -f avfoundation -i "0:0" -r 30 -c:v libx264 -preset ultrafast -c:a libfdk_aac -profile:a aac_he_v2 -ar 44100 -ac 2 -filter_complex "[1:v]scale=w=176:h=144:force_original_aspect_ratio=decrease[a];[0:v][a]overlay=x=W-w-10:y=0[out]" -map "[out]" -movflags faststart -map 1:a b.mp4

多路视频拼接

录屏和摄像头水平拼接到一起，录屏左边，摄像头右边
ffmpeg -f avfoundation -i "1" -framerate 30 -f avfoundation -i "0:0" -r 30 -c:v libx264 -preset ultrafast -c:a libfdk_aac -profile:a aac_he_v2 -ar 44100 -ac 2 -filter_complex "[0:v]scale=320:240[a];[a]pad=640:240[b];[b][1:v]overlay=320:0[out]" -map "[out]" -movflags faststart -map 1:a c.mp4

音视频的拼接和裁剪

裁剪

ffmpeg -i out.mp4 -ss 00:00:00 -t 10 out1.mp4

• -ss 指定裁剪的开始时间，精确到秒
• -t 被裁剪后的时长

合并

首先创建一个 inputs.txt 文件，顺序排列，也就会按顺序播放:

file '1.mp4'
file '2.mp4'
file '3.mp4'

ffmpeg -f concat -i inputs.txt -c copy output.mp4

hls 切片

ffmpeg -i out.mp4 -c:v libx264 -c:a libfdk_aac -strict -2 -f hls out.m3u8

• -strict -2 指明音频使有AAC
• -f hls 转成 m3u8 格式

视频图片互转

视频转JPEG

ffmpeg -i wuwei.mp4 -r 1 -f image2 image-%3d.jpeg

视频转 GIF

ffmpeg -i out.mp4 -ss 00:00:00 -t 10 out.gif
ffmpeg -ss 8 -t 15 -i 11.mp4 -s 600x400 -r 10 res.gif

• -s：设定分辨率
• -ss 8 -t 15：从第8秒开始，往后截取15秒钟
• -r：设定帧数

图片转视频

ffmpeg -f image2 -i image-%3d.jpeg images.mp4

将所有同一个文件夹下的类似image-000.jpeg, image-001.jpeg, image-002.jpeg 的图片转换为视频

获取某个视频的首帧图片

ffmpeg -i plan_vedio_1.mp4 -ss 00:00:00 -vframes 1 1.png

直播相关

推流

ffmpeg -re -i out.mp4 -c copy -f flv rtmp://server/live/streamName

拉流保存

ffmpeg -i rtmp://server/live/streamName -c copy dump.flv

转流

ffmpeg -i rtmp://server/live/originalStream -c:a copy -c:v copy -f flv rtmp://server/live/h264Stream

实时推流

ffmpeg -framerate 15 -f avfoundation -i "1" -s 1280x720 -c:v libx264 -f flv rtmp://localhost:1935/live/room

ffplay

播放 YUV 数据

ffplay -pix_fmt nv12 -s 192x144 1.yuv

播放 YUV 中的 Y 平面

ffplay -pix_fmt nv21 -s 640x480 -vf extractplanes='y' 1.yuv