Android Camera2硬编码

步骤与分析:步骤如下一、二、三。有些网友可能会问为什么要走这些步骤。笔者给你一一道来。首先采集的数据不管你手机是横屏还是竖屏你拿到的数据都是横屏。所以如果你是竖屏显示画面你需要旋转90度或者-90度、横屏则不需要。第二如果你编码使用的是软编码比如ffmpeg的话你可以不转换格式但是你会发现手机cpu使用到80%左右或者更高。此时你会考虑选择使用硬编码。既然你选择硬编码那么系统默认让你传入的格式就是NV12.所以你需要转换格式。

一.对采集的yuv420p旋转

前置摄像头像旋转270度后置摄像头旋转90度。
旋转方法参考我的上一篇摄像头采集与数据处理

二.对旋转的后的数据进行格式转换、将I420转为NV12

此处注意:如果你按照我的步骤过来、一定要先进行旋转然后再转格式。否则你将发现你的画面是黑白。

 //将底层数据以I420 YYYYVVUU 方式保存
            byte[] data=  getDataFromImage(image,COLOR_FormatI420);
           // 将I420旋转
            byte[] data2 = new byte[width*height*3/2];
            if (mCameraId.equals("0")){
                //后置摄像头
                yuv_rotate_90(data2,data,width,height);
            }else {
                //前置摄像头
                yuv_rotate_270(data2,data,width,height);
            }

            //旋转后转nv12 目前硬编码接收的数据必须为NV12
            byte[] data3 = new byte[width * height * 3 / 2];
            for (int i = 0; i < width*height; i++) {
                data3[i] = data2[I];
            }

            //yyyyyyyy uvuv NV12
            for (int i=0;i<width*height/2;i++){
                data3[width*height+i]=data2[width*height+i/2];//存入U
                I++;
                data3[width*height+i]=data2[width*height+(width*height/4)+(i-1)/2];
            }

三.使用MediaCodec硬编码

初始化编码实例、需要传入视频的相关信息如下

宽高:我的是640x480</br>
码率:越高视频越清晰</br>
帧率:1/20 考虑到手机性能和人眼识别度20够了</br>
关键帧间隔:1秒 越大压缩率越高</br>
编码后的格式:填的是MIMETYPE_VIDEO_AVC也就是h264格式</br>
传入的格式:此处填的是COLOR_FormatYUV420Flexible此格式表示yuv420的格式都可以实际上我在小米机型上测只有传入NV12才是正确的、否则色彩颜色就会混乱、比如:红色变成了蓝紫色、或者只有黑白画面。

 MediaFormat mediaFormat = MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, width, height);
        //接收的数据类型为yuv任何格式
        mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible);
        mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, width*height*5);
        mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, m_framerate);
        mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1);//关键帧间隔时间 单位s

        try {
            //创建h264类型的编码器
            mediaCodec = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_AVC);
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        //硬编码
        mediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
        mediaCodec.start();

将yuv数据放入输入队列 从输出队列取出h264数据。注:取数据时根据返回类型判断是否是sps和pps信息需要对其保存、此外在每一个关键帧前面需要添加此信息。否则播放器解析时很难播放出来。

public byte[] configbyte;
    public void startEncoderThread(){
        Thread encoderThread = new Thread(new Runnable() {
            @Override
            public void run() {

                isRuning = true;
                long pts =  0;
                long frameCount = 0;
                if (myuvQueue.size() == 0){
                    Log.d(TAG, "HardEncode- no enough yuv data to encode.!");
                }
                Log.d(TAG, "HardEncode- out format is "+mediaCodec.getOutputFormat());
                while (isRuning){
                    //取出队列第一个元素并删除队列中第一个 如果队列为空返回NUll
                    byte[] inputData = myuvQueue.poll();
                    if (inputData != null){
                        try {
                            //开始编码
                            int inputBufferIndex = mediaCodec.dequeueInputBuffer(-1);
                            if (inputBufferIndex >=0){
                                //有可放入数据的队列
                                pts = computePresentationTime(frameCount);//转成为妙
                                ByteBuffer inputBuffer = mediaCodec.getInputBuffer(inputBufferIndex);
                                inputBuffer.clear();
                                inputBuffer.put(inputData,0,inputData.length);
//                                inputBuffer.put(inputData);//放入yuv到硬编码输入队列
                                mediaCodec.queueInputBuffer(inputBufferIndex, 0, inputData.length, pts, 0);
                                frameCount +=1;
                            }else {
                                Log.d(TAG, "HardEncode- can't get input queue.");
                            }


                            //取出编码好的h264
                            MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
                            //
                            int outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo, TIMEOUT_USEC);
                            while (outputBufferIndex >= 0){
                                ByteBuffer outputBuffer = mediaCodec.getOutputBuffer(outputBufferIndex);
                                //取出数据
                                byte[] outData = new byte[bufferInfo.size];
                                outputBuffer.get(outData);
//                                BUFFER_FLAG_END_OF_STREAM
                                if(bufferInfo.flags == BUFFER_FLAG_CODEC_CONFIG){
                                    //保存pps和sps 只有刚开始第一帧里面有
                                    configbyte = new byte[bufferInfo.size];
                                    configbyte = outData;

                                }else if(bufferInfo.flags == BUFFER_FLAG_KEY_FRAME){
                                    //关键帧- 都要加上pps和sps
                                    byte[] keyframe = new byte[bufferInfo.size + configbyte.length];
                                    System.arraycopy(configbyte, 0, keyframe, 0, configbyte.length);
                                    System.arraycopy(outData, 0, keyframe, configbyte.length, outData.length);
                                    Log.d(TAG, "HardEncode- encode a keyfame data. size="+keyframe.length);
                                    for (int i=0;i<10;i++){
                                        Log.d(TAG, "HardEncode- i=" +i +"value="+keyframe[I]);
                                    }

                                    dumpFile("hardEncoder_"+m_width+m_height+".h264",keyframe);
                                }else{
                                    Log.d(TAG, "HardEncode- encode a frame.size="+outData.length);
                                    for (int i=0;i<10;i++){
                                        Log.d(TAG, "HardEncode- ii=" +i +"value="+outData[I]);
                                    }
                                    dumpFile("hardEncoder_"+m_width+m_height+".h264",outData);
                                }

                                mediaCodec.releaseOutputBuffer(outputBufferIndex, false);
                                outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo, TIMEOUT_USEC);
                            }
                        }catch (Throwable t){
                            //编码异常
                            t.printStackTrace();
                        }
                    }else {
                        //没有获取到yuv数据不需要编码
                        try {
                            Log.d(TAG, "HardEncode- this yuv data is nul.!!");
                            Thread.sleep(500);//微秒
                        }catch (InterruptedException e){
                            e.printStackTrace();
                        }
                    }
                }
            }
        });
        encoderThread.start();
    }

生成的h264文件播放效果图

h264.png

源码下载

喜欢的小伙伴们在我git上给个star感激不尽、目前正在持续更新中喜欢关注的小伙伴可以fork一下。

我的主页:https://github.com/ChangeStrong

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,386评论 6 479
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,939评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,851评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,953评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,971评论 5 369
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,784评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,126评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,765评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,148评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,744评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,858评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,479评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,080评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,053评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,278评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,245评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,590评论 2 343

推荐阅读更多精彩内容

  • 1、通过CocoaPods安装项目名称项目信息 AFNetworking网络请求组件 FMDB本地数据库组件 SD...
    阳明先生_x阅读 15,967评论 3 119
  • 硬件编码相关知识(H264,H265) 阅读人群:研究硬件编码器应用于iOS开发中,从0研究关于硬件编解码,码流中...
    小东邪啊阅读 12,708评论 0 18
  • 视频 视频实质:纯粹的视频(不包括音频)实质上就是一组帧图片,经过视频编码成为视频(video)文件再把音频(au...
    勇敢的_心_阅读 2,895评论 1 30
  • 下午又和妈妈还有伯母还有秋阿姨去爬龙凤山 有一个崖壁我看来是很陡了。。妈妈兴致很好叫我爬上去拍照我爬上去啊 然后趴...
    Aloha长夏阅读 273评论 0 2
  • 曾经在书上看过一句话:人和灵魂总要有一个在路上,非常认同,远方总是有着不同的风景。 喜欢在路上,每隔一个月到两个月...
    简心阁阅读 328评论 4 1