Android多媒体开发(4)——添加FFmpeg支持

Android多媒体开发需要添加FFmpeg支持，其实其步骤在前面Android Media Framework学习的一系列文章中就有讲述，《支持格式扩展》这篇文章已经讲完了Android多媒体需要扩展支持其他格式的步骤，这篇文章具体讲述Android怎么支持FFmpeg。

参考文章有两篇，分别是：文章一，文章二

1.Sniffer
音视频的解码播放是从探测文件格式开始的，即在DataSource.cpp中通过Sniff探测文件格式，扩展FFmpeg也是一样的，先要在DataSource中加入相应的Sniff。

DataSource通过RegisterDefaultSniffers给每一种格式添加相应的sniffer。

// static
void DataSource::RegisterDefaultSniffers() {
    Mutex::Autolock autoLock(gSnifferMutex);
    if (gSniffersRegistered) {
        return;
    }

    RegisterSniffer_l(SniffMPEG4);
    RegisterSniffer_l(SniffMatroska);
    RegisterSniffer_l(SniffOgg);
    RegisterSniffer_l(SniffWAV);
    RegisterSniffer_l(SniffFLAC);
    RegisterSniffer_l(SniffAMR);
    RegisterSniffer_l(SniffMPEG2TS);
    RegisterSniffer_l(SniffMP3);
    RegisterSniffer_l(SniffAAC);
    RegisterSniffer_l(SniffMPEG2PS);
    RegisterSniffer_l(SniffWVM);
    RegisterSnifferPlugin();

    char value[PROPERTY_VALUE_MAX];
    if (property_get("drm.service.enabled", value, NULL)
            && (!strcmp(value, "1") || !strcasecmp(value, "true"))) {
        RegisterSniffer_l(SniffDRM);
    }
    //RegisterSniffer_l(SniffASF);
    //RegisterSniffer_l(SniffNVAVI);

    gSniffersRegistered = true;
}

这里，我们需要关注的是RegisterSnifferPlugin()。

// static
void DataSource::RegisterSnifferPlugin() {
    static void (*getExtractorPlugin)(MediaExtractor::Plugin *) =
            (void (*)(MediaExtractor::Plugin *))loadExtractorPlugin();

    MediaExtractor::Plugin *plugin = MediaExtractor::getPlugin();
    if (!plugin->sniff && getExtractorPlugin) {
        getExtractorPlugin(plugin);
    }
    if (plugin->sniff) {
        RegisterSniffer_l(plugin->sniff);
    }
}

我们看到，RegisterSnifferPlugin()中有个loadExtractorPlugin()方法，具体看它的实现。

static void *loadExtractorPlugin() {
    void *ret = NULL;
    char lib[PROPERTY_VALUE_MAX];
    if (property_get("media.stagefright.extractor-plugin", lib, "libFFmpegExtractor.so")) {
        if (void *extractorLib = ::dlopen(lib, RTLD_LAZY)) {
            ret = ::dlsym(extractorLib, "getExtractorPlugin");
            ALOGW_IF(!ret, "Failed to find symbol, dlerror: %s", ::dlerror());
        } else {
            ALOGV("Failed to load %s, dlerror: %s", lib, ::dlerror());
        }
    }
    return ret;
}

可以看到，也就是在loadExtractorPlugin()方法加载了libFFmpegExtractor.so库。

2.Extractor
扩展了FFmpeg的sniffer，接下来就是创建FFmpegExtractor实例，如果不明白可以回头看看Android Media Framework的相关文章。
MediaExtractor管理着各种具体的Extractor，FFmpegExtractor也不例外。在上面的loadExtractorPlugin()方法中调用的是FFmpegExtractor的getExtractorPlugin()方法，看看具体实现：

extern "C" void getExtractorPlugin(android::MediaExtractor::Plugin *plugin)
{
    plugin->sniff = android::SniffFFMPEG;
    plugin->create = android::CreateFFmpegExtractor;
}

很好理解，就是指明SniffFFMPEG并调用CreateFFmpegExtractor。其中SniffFFMPEG()方法就是通过设置confidence值来指定格式，我自己项目中的比较复杂，这里贴下文章二中的代码：

bool SniffFFMPEG(  const sp<DataSource> &source, String8 *mimeType, 
        float *confidence, sp<AMessage> *) {  
  
    LOGD("SniffFFMPEG: confidence force to be 1.0");  
  
    // QGC: ffmpeg force to be high confidence  
    *mimeType = MEDIA_MIMETYPE_CONTAINER_FFMPEG;  
    *confidence = 1.0f;  
    return true;  
  
}

相当暴力，直接指定*confidence = 1.0f。

CreateFFmpegExtractor顾名思义就是创建FFmpegExtractor的实例。

MediaExtractor *CreateFFmpegExtractor(const sp<DataSource> &source, const char *mime, const sp<AMessage> &meta) {
    MediaExtractor *ret = NULL;
    AString notuse;
    if (meta.get() && meta->findString("extended-extractor", &notuse) && (
            !strcasecmp(mime, MEDIA_MIMETYPE_AUDIO_MPEG)          ||
            !strcasecmp(mime, MEDIA_MIMETYPE_AUDIO_AAC)           ||
            !strcasecmp(mime, MEDIA_MIMETYPE_AUDIO_VORBIS)        ||
            !strcasecmp(mime, MEDIA_MIMETYPE_AUDIO_FLAC)          ||
            !strcasecmp(mime, MEDIA_MIMETYPE_AUDIO_AC3)           ||
            !strcasecmp(mime, MEDIA_MIMETYPE_AUDIO_APE)           ||
            !strcasecmp(mime, MEDIA_MIMETYPE_AUDIO_DTS)           ||
            !strcasecmp(mime, MEDIA_MIMETYPE_AUDIO_MPEG_LAYER_II) ||
            !strcasecmp(mime, MEDIA_MIMETYPE_AUDIO_RA)            ||
            !strcasecmp(mime, MEDIA_MIMETYPE_AUDIO_WMA)           ||
            !strcasecmp(mime, MEDIA_MIMETYPE_AUDIO_FFMPEG)        ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_MPEG4)     ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_MOV)       ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_MATROSKA)  ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_TS)        ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_MPEG2PS)   ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_AVI)       ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_ASF)       ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_WEBM)      ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_WMV)       ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_MPG)       ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_FLV)       ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_DIVX)      ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_RM)        ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_WAV)       ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_FLAC)      ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_APE)       ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_DTS)       ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_MP2)       ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_RA)        ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_OGG)       ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_VC1)       ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_HEVC)      ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_WMA)       ||
            !strcasecmp(mime, MEDIA_MIMETYPE_CONTAINER_FFMPEG))) {
        ALOGV("media format %s", mime);
        bool audio_only = false;
        if (!strncmp(mime, "audio/", 6)) {
            ALOGV("set audio only mode");
            audio_only = true;
        }
        ret = new FFmpegExtractor(source, meta, audio_only);
    }

    ALOGD("%ssupported mime: %s", (ret ? "" : "un"), mime);
    return ret;
}

这个方法用到的 meta->findString("extended-extractor", &notuse)其实就在SniffFFMPEG中指定（当然上边的SniffFFMPEG没有），这里给出：

(*meta)->setString("extended-extractor", "extended-extractor");
(*meta)->setString("extended-extractor-subtype", "ffmpegextractor");
(*meta)->setString("extended-extractor-mime", container);

3.kComponents
kComponents数组指定的是系统支持的编解码器，当然要加上FFmpeg的相关东西。

static const struct {
    const char *mName;
    const char *mLibNameSuffix;
    const char *mRole;

} kComponents[] = {
    { "OMX.ffmpeg.mpeg2v.decoder", "ffmpegvdec", "video_decoder.mpeg2v" },
    { "OMX.ffmpeg.h263.decoder", "ffmpegvdec", "video_decoder.h263" },
    { "OMX.ffmpeg.mpeg4.decoder", "ffmpegvdec", "video_decoder.mpeg4" },
    { "OMX.ffmpeg.wmv.decoder", "ffmpegvdec", "video_decoder.wmv" },
    { "OMX.ffmpeg.rv.decoder", "ffmpegvdec", "video_decoder.rv" },
    { "OMX.ffmpeg.h264.decoder", "ffmpegvdec", "video_decoder.avc" },
    { "OMX.ffmpeg.vp8.decoder", "ffmpegvdec", "video_decoder.vp8" },
    { "OMX.ffmpeg.vc1.decoder", "ffmpegvdec", "video_decoder.vc1" },
    { "OMX.ffmpeg.flv1.decoder", "ffmpegvdec", "video_decoder.flv1" },
    { "OMX.ffmpeg.divx.decoder", "ffmpegvdec", "video_decoder.divx" },
    { "OMX.ffmpeg.hevc.decoder", "ffmpegvdec", "video_decoder.hevc" },
    { "OMX.ffmpeg.vtrial.decoder", "ffmpegvdec", "video_decoder.trial" },
    { "OMX.ffmpeg.aac.decoder", "ffmpegadec", "audio_decoder.aac" },
    { "OMX.ffmpeg.mp3.decoder", "ffmpegadec", "audio_decoder.mp3" },
    { "OMX.ffmpeg.vorbis.decoder", "ffmpegadec", "audio_decoder.vorbis" },
    { "OMX.ffmpeg.wma.decoder", "ffmpegadec", "audio_decoder.wma" },
    { "OMX.ffmpeg.ra.decoder", "ffmpegadec", "audio_decoder.ra" },
    { "OMX.ffmpeg.flac.decoder", "ffmpegadec", "audio_decoder.flac" },
    { "OMX.ffmpeg.mp2.decoder", "ffmpegadec", "audio_decoder.mp2" },
    { "OMX.ffmpeg.ac3.decoder", "ffmpegadec", "audio_decoder.ac3" },
    { "OMX.ffmpeg.ape.decoder", "ffmpegadec", "audio_decoder.ape" },
    { "OMX.ffmpeg.dts.decoder", "ffmpegadec", "audio_decoder.dts" },
    { "OMX.ffmpeg.atrial.decoder", "ffmpegadec", "audio_decoder.trial" },
    { "OMX.google.aac.decoder", "aacdec", "audio_decoder.aac" },
    { "OMX.google.aac.encoder", "aacenc", "audio_encoder.aac" },
    { "OMX.google.amrnb.decoder", "amrdec", "audio_decoder.amrnb" },
    { "OMX.google.amrnb.encoder", "amrnbenc", "audio_encoder.amrnb" },
    { "OMX.google.amrwb.decoder", "amrdec", "audio_decoder.amrwb" },
    { "OMX.google.amrwb.encoder", "amrwbenc", "audio_encoder.amrwb" },
    { "OMX.google.h264.decoder", "h264dec", "video_decoder.avc" },
    { "OMX.google.h264.encoder", "h264enc", "video_encoder.avc" },
    { "OMX.google.g711.alaw.decoder", "g711dec", "audio_decoder.g711alaw" },
    { "OMX.google.g711.mlaw.decoder", "g711dec", "audio_decoder.g711mlaw" },
    { "OMX.google.h263.decoder", "mpeg4dec", "video_decoder.h263" },
    { "OMX.google.h263.encoder", "mpeg4enc", "video_encoder.h263" },
    { "OMX.google.mpeg4.decoder", "mpeg4dec", "video_decoder.mpeg4" },
    { "OMX.google.mpeg4.encoder", "mpeg4enc", "video_encoder.mpeg4" },
    { "OMX.google.mp3.decoder", "mp3dec", "audio_decoder.mp3" },
    { "OMX.google.vorbis.decoder", "vorbisdec", "audio_decoder.vorbis" },
    { "OMX.google.vp8.decoder", "vpxdec", "video_decoder.vp8" },
    { "OMX.google.vp9.decoder", "vpxdec", "video_decoder.vp9" },
    { "OMX.google.vp8.encoder", "vpxenc", "video_encoder.vp8" },
    { "OMX.google.raw.decoder", "rawdec", "audio_decoder.raw" },
    { "OMX.google.flac.encoder", "flacenc", "audio_encoder.flac" },
    { "OMX.google.gsm.decoder", "gsmdec", "audio_decoder.gsm" },
};

"OMX.google."开头的是Android本身支持的，"OMX.ffmpeg."开头的是FFmpeg的。

4.media_codecs.xml
最后，在/etc/media_codecs.xml中配置自己需要的编解码器。

<!-- ffmpeg video codec -->
<MediaCodec name="OMX.ffmpeg.mpeg2v.decoder" type="video/mpeg2" />
<MediaCodec name="OMX.ffmpeg.h263.decoder"   type="video/3gpp" />
<MediaCodec name="OMX.ffmpeg.mpeg4.decoder"  type="video/mp4v-es" />
<MediaCodec name="OMX.ffmpeg.wmv.decoder"    type="video/x-ms-wmv" />
<MediaCodec name="OMX.ffmpeg.rv.decoder"     type="video/vnd.rn-realvideo" />
<MediaCodec name="OMX.ffmpeg.h264.decoder"   type="video/avc" />
<MediaCodec name="OMX.ffmpeg.vp8.decoder"    type="video/x-vnd.on2.vp8" />
<MediaCodec name="OMX.ffmpeg.vc1.decoder"    type="video/vc1" />
<MediaCodec name="OMX.ffmpeg.flv1.decoder"    type="video/x-flv" />
<MediaCodec name="OMX.ffmpeg.divx.decoder"    type="video/divx" />
<MediaCodec name="OMX.ffmpeg.hevc.decoder"    type="video/hevc" />
<MediaCodec name="OMX.ffmpeg.vtrial.decoder" type="video/ffmpeg" />

<!-- ffmpeg audio codec -->
<MediaCodec name="OMX.ffmpeg.aac.decoder"    type="audio/mp4a-latm" />
<MediaCodec name="OMX.ffmpeg.mp3.decoder"    type="audio/mpeg" />
<MediaCodec name="OMX.ffmpeg.vorbis.decoder" type="audio/vorbis" />
<MediaCodec name="OMX.ffmpeg.wma.decoder"    type="audio/x-ms-wma" />
<MediaCodec name="OMX.ffmpeg.ra.decoder"     type="audio/vnd.rn-realaudio" />
<MediaCodec name="OMX.ffmpeg.flac.decoder"   type="audio/flac" />
<MediaCodec name="OMX.ffmpeg.mp2.decoder"    type="audio/mpeg-L2" />
<MediaCodec name="OMX.ffmpeg.ape.decoder"    type="audio/x-ape" />
<MediaCodec name="OMX.ffmpeg.atrial.decoder" type="audio/ffmpeg" />

当然，要想完整的添加FFmpeg，还有很多头文件需要加，有的文件代码也需要稍许修改，但整个脉络是这样的。

最后编辑于：2017.12.04 04:16:05

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 204,684评论 6赞 478
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 87,143评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 151,214评论 0赞 337
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,788评论 1赞 277
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,796评论 5赞 368
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,665评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,027评论 3赞 399
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,679评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 41,346评论 1赞 299
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,664评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,766评论 1赞 331
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,412评论 4赞 321
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,015评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,974评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,203评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 45,073评论 2赞 350
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,501评论 2赞 343

Android多媒体开发(4)——添加FFmpeg支持

推荐阅读更多精彩内容