目录
- 参考
- 简介
- Bitstream Filter API介绍
- 示例
1. 参考
- [1] ffmpeg.org/ffmpeg-bitstream-filters.html
- [2] Luca Barbato/Bitstream Filtering
- [3] YellowLayne/ffmpeg 添加 sps pps
- [4] 雷霄骅/使用FFMPEG类库分离出多媒体文件中的H.264码流
2. 简介
H.264码流分Annex-B和AVCC两种格式。
- AVCC以长度信息分割NALU，在mp4和flv等封装格式中使用。
- Annex-B以start code(0x000001或0x00000001)分割NALU，在mpegts流媒体文件中使用。
很多场景需要进行这两种格式之间的转换，FFmpeg提供了名称为h264_mp4toannexb 的Bitstream Filter(bsf)来实现这个功能。例如，将AVCC格式的H.264流的转换为Annex-B格式，可以使用以下命令[1]：
ffmpeg -i INPUT.mp4 -codec copy -bsf:v h264_mp4toannexb OUTPUT.ts
- 注意，使用ffmpeg时如果指定输出格式为mpegts或h264，会自动加入这个filter。
Bitstream Filter
- Bitstream Filter的主要目的是对数据进行格式转换，使它能够被解码器处理（比如HEVC QSV的解码器）。
- Bitstream Filter对已编码的码流进行操作，不涉及解码过程。
- 使用
ffmpeg -bsfs命令可以查看ffmpeg工具支持的Bitstream Filter类型。 - 使用ff*工具的
-bsf选项来指定对具体流的Bitstream Filter，使用逗号分隔的多个filter，如果filter有参数，参数名和参数值跟在filter名称后面，如下面的形式。
ffmpeg -i INPUT -c:v copy -bsf:v filter1[=opt1=str1:opt2=str2][,filter2] OUTPUT
3. Bitstream Filter API介绍
// Query
const AVBitStreamFilter *av_bsf_next(void **opaque);
const AVBitStreamFilter *av_bsf_get_by_name(const char *name);
// Setup
int av_bsf_alloc(const AVBitStreamFilter *filter, AVBSFContext **ctx);
int av_bsf_init(AVBSFContext *ctx);
// Usage
int av_bsf_send_packet(AVBSFContext *ctx, AVPacket *pkt);
int av_bsf_receive_packet(AVBSFContext *ctx, AVPacket *pkt);
// Cleanup
void av_bsf_free(AVBSFContext **ctx);
bsf的使用方法：
- 使用查询函数
av_bsf_get_by_name根据名称查找对应的AVBitStreamFilter。 - 使用av_bsf_alloc为AVBSFContext和它的一些内部变量分配内存。
- 设置AVBSFContext可能需要使用一些编解码参数和time_base[2]。
- 在设置好参数之后使用av_bsf_init来初始化bsf。
- 使用av_bsf_send_packet函数输入数据，并使用av_bsf_receive_packet获得处理后的输出数据。
- 处理结束后，av_bsf_free清理用于上下文和内部缓冲区的内存。
4. 示例
参照[4]，来完成从多媒体文件比如mp4或者ts中分离出H.264的码流的工作。
- 在分离ts码流的时候，直接存储AVPacket即可。
- 对于mp4中解封装出来的AVPacket需要经过h264_mp4toannexb"的bitstream filter的处理。
- ffmpeg中定义的H.264的封装格式是annexb格式的。
[4]中使用的AVBitStreamFilterContext现在已经废弃了，下面是使用新的Bitstream Filter API来完成的h264_mp4toannexb工作。
#include <stdio.h>
#include <libavformat/avformat.h>
#include <libavcodec/avcodec.h>
char *app_name = NULL;
void usage() {
fprintf(stdout, "usage:%s <input> <output>\n", app_name);
exit(1);
}
int open_input(AVFormatContext **ctx, char *in_filename) {
int ret = 0;
if ((ret = avformat_open_input(ctx, in_filename, NULL, NULL)) < 0) {
fprintf(stderr, "fail to open input %s\n", in_filename);
return ret;
}
if ((ret = avformat_find_stream_info(*ctx, NULL)) < 0) {
fprintf(stderr, "find stream info failed\n");
return ret;
}
}
int open_output(FILE **file, char *out_filename) {
int ret = 0;
*file = fopen(out_filename, "w+b");
if (*file == NULL) {
ret = -1;
fprintf(stderr, "failed to open output %s\n",out_filename);
return ret;
}
}
int write_output(FILE *of, AVPacket *pkt) {
if (pkt->size > 0) {
int size = fwrite(pkt->data, 1, pkt->size, of);
if (size <= 0) {
fprintf(stderr, "fwrite failed\n");
return -1;
} else {
fprintf(stdout, "write packet, size=%d\n", size);
}
}
return 0;
}
int open_bitstream_filter(AVStream *stream, AVBSFContext **bsf_ctx, const char *name) {
int ret = 0;
const AVBitStreamFilter *filter = av_bsf_get_by_name(name);
if (!filter) {
ret = -1;
fprintf(stderr, "Unknow bitstream filter.\n");
}
if((ret = av_bsf_alloc(filter, bsf_ctx) < 0)) {
fprintf(stderr, "av_bsf_alloc failed\n");
return ret;
}
if ((ret = avcodec_parameters_copy((*bsf_ctx)->par_in, stream->codecpar)) < 0) {
fprintf(stderr, "avcodec_parameters_copy failed, ret=%d\n", ret);
return ret;
}
if ((ret = av_bsf_init(*bsf_ctx)) < 0) {
fprintf(stderr, "av_bsf_init failed, ret=%d\n", ret);
return ret;
}
return ret;
}
int filter_stream(AVBSFContext *bsf_ctx, AVPacket *pkt, FILE *of, int eof) {
int ret = 0;
if (ret = av_bsf_send_packet(bsf_ctx, eof ? NULL : pkt) < 0) {
fprintf(stderr, "av_bsf_send_packet failed, ret=%d\n", ret);
return ret;
}
while ((ret = av_bsf_receive_packet(bsf_ctx, pkt) == 0)) {
ret = write_output(of, pkt);
av_packet_unref(pkt);
if (ret < 0) return ret;
}
if (ret == AVERROR(EAGAIN)) return 0;
return ret;
}
int main(int argc, char **argv) {
app_name = argv[0];
if (argc < 3) {
usage();
}
char *in_filename = argv[1];
char *out_filename = argv[2];
AVFormatContext *ifmt_ctx;
AVBSFContext *bsf_ctx;
FILE *of;
int ret = 0;
int video_stream_index = -1;
int is_annexb = 1;
if ((ret = open_input(&ifmt_ctx, in_filename)) < 0) {
fprintf(stderr, "open_input failed, ret=%d\n", ret);
goto end;
}
if ((ret = open_output(&of, out_filename)) < 0) {
fprintf(stderr, "open_output failed, ret=%d\n", ret);
goto end;
}
AVPacket *pkt = av_packet_alloc();
if (!pkt) {
fprintf(stderr, "alloc packet failed\n");
goto end;
}
for (int i = 0; i < ifmt_ctx->nb_streams; i++) {
if (ifmt_ctx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {
video_stream_index = i;
is_annexb = strcmp(av_fourcc2str(ifmt_ctx->streams[i]->codecpar->codec_tag), "avc1") == 0 ? 0 : 1;
break;
}
}
if (video_stream_index == -1) {
fprintf(stderr, "no video stream found.\n");
goto end;
}
fprintf(stdout, "is_annexb=%d\n", is_annexb);
if (!is_annexb) {
if (ret = open_bitstream_filter(ifmt_ctx->streams[video_stream_index], &bsf_ctx, "h264_mp4toannexb") < 0) {
fprintf(stderr, "open_bitstream_filter failed, ret=%d\n", ret);
goto end;
}
}
while (av_read_frame(ifmt_ctx, pkt) >= 0) {
if (pkt->stream_index == video_stream_index) {
if (is_annexb) {
ret = write_output(of, pkt);
} else {
ret = filter_stream(bsf_ctx, pkt, of, 0);
}
if (ret < 0) goto end;
} else {
fprintf(stdout, "read a packet, not a video frame\n");
}
av_packet_unref(pkt);
}
if (!is_annexb) {//flush bistream filter
filter_stream(bsf_ctx, NULL, of, 1);
}
end:
if (pkt)
av_packet_free(&pkt);
if (ifmt_ctx)
avformat_close_input(&ifmt_ctx);
if (bsf_ctx)
av_bsf_free(&bsf_ctx);
if (of)
fclose(of);
fprintf(stdout, "convert finished, ret=%d\n", ret);
return 0;
}
