Android端WebRtc+Kurento详解

WebRtc是google开源的视频通话技术，Kurento是Kurento公司开源的媒体服务器。两者结合起来可以达到多人视频通话的效果。目前在git上Android端webrtc+Kurento的demo几乎没有，本文主要介绍一下如何将两者结合以及一些需要注意的地方。

  • 需要的库

  1. KurentoRoomAndroid: 官方地址为 https://github.com/nubomedia-vtt/kurento-room-client-android我们仅使用其中的除了libjinglepeerconnection的其他jar包。

  2. libjinglepeerconnection: 根据上面的kurentoRoom地址引用下来的库中是有libjinglepeerconnection的，但编译版本较早，新版的webrtc已经有些不同。自行编译webrtc难度较大，读者可以先使用这个版本:https://github.com/BaeBae33/webrtc_android(将相关类放到自己工程下可能会报错，把buildToolsVersion提升到25.0.0及以上即可)

  • 权限

    <uses-permission android:name="android.permission.CAMERA" />
    <uses-permission android:name="android.permission.CHANGE_NETWORK_STATE" />
    <uses-permission android:name="android.permission.MODIFY_AUDIO_SETTINGS" />
    <uses-permission android:name="android.permission.RECORD_AUDIO" />
    <uses-permission android:name="android.permission.INTERNET" />
    <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
    <uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />

  • 视频通道建立流程

webrtc的流程网上很多，相信很多人都能大致看得懂。这里我就谈谈具体在android下如何实施。
场景为用户A进入Kurento房间并接收B发起的视频流(B已经在房间，并且发布视频,假设我们就是用户A):

  1. 创建PeerConnectionFactory
    在多人视频通话中,我们只需要实例化一个factory。代码如下:
        //初始化PeerConnectionFactory，以后用于生产PeerConnection
        PeerConnectionFactory.initializeInternalTracer();
        PeerConnectionFactory.initializeFieldTrials("");
        if (!PeerConnectionFactory.initializeAndroidGlobals(
                activity.this, true, true, true)) {
            Log.e(TAG, "Failed to initializeAndroidGlobals");
        }
        options = new PeerConnectionFactory.Options();
        options.networkIgnoreMask = 0;
        factory = new PeerConnectionFactory(options);
        Log.d(TAG, "Peer connection factory created.");
        // Set default WebRTC tracing and INFO libjingle logging.
        // NOTE: this _must_ happen while |factory| is alive!
        Logging.enableTracing("logcat:", EnumSet.of(Logging.TraceLevel.TRACE_DEFAULT));
        Logging.enableLogToDebugOutput(Logging.Severity.LS_INFO);
  1. 连接websocket并加入房间，代码很简单，就不贴了。
  2. 加入房间成功后，在RoomListener.onRoomResponse内我们接收到类似这样的回调:
{"value":[{"id":"1","streams":[{"id":"webcam"}]}],"sessionId":"il67bnrkjeduve2q1jd2klik8d"}

字符串中存在"webcam"，说明id为1的用户正在房间内发布视频。我们可以从这里初始化相关信息并createOffer。我封装了一个 initpeer方法，大家可以参考一下(用户B的type为OTHER)。

public void initPeer() {
        peer = new PeerConnectionClient();
        if (type.equals(Type.SELF)) {
            sparam = new PeerConnectionClient.SignalingParameters(getServers(), true, id, null, null);
            param = new PeerConnectionClient.
                    PeerConnectionParameters(true, false, true, 640, 480, 0, 0, "VP8",
                    false, false, 0, "opus", false, false, false, false, false, false, false, null);
            } else if (type.equals(Type.OTHER)) {
            sparam = new PeerConnectionClient.SignalingParameters(getServers(), false, id, null, null);
            param = new PeerConnectionClient.
                    PeerConnectionParameters(false, false, true, 640, 480, 0, 0, "VP8",
                    false, false, 0, "opus", false, false, false, false, false, false, false, null);
        }
        events = new PeerConnectionClient.PeerConnectionEvents() {
            @Override
            public void onLocalDescription(SessionDescription sdp) {
                // TODO Auto-generated method stub
                LogCat.i("onLocalDescription1:" + sdp.description);
                LogCat.i(type.toString());
                if (type.equals(Type.SELF)) {
                    roomApi.sendPublishVideo(sdp.description, false, 1);
                } else if (type.equals(Type.OTHER)) {
                    LogCat.i(type.toString());
                    roomApi.sendReceiveVideoFrom(id + "_webcam", sdp.description, 2);
                }
            }
            @Override
            public void onIceCandidate(IceCandidate candidate) {
                // TODO Auto-generated method stub
                LogCat.i("onIceCandidate:" + candidate.toString());
                LogCat.i("onIceCandidate:detail1:" + candidate.sdp + "," + candidate.sdpMid + "," + String.valueOf(candidate.sdpMLineIndex));
                roomApi.sendOnIceCandidate(id, candidate.sdp, candidate.sdpMid,
                        String.valueOf(candidate.sdpMLineIndex), 3);
            }

            @Override
            public void onIceCandidatesRemoved(IceCandidate[] candidates) {
                // TODO Auto-generated method stub
            }

            @Override
            public void onIceConnected() {
                // TODO Auto-generated method stub
            }

            @Override
            public void onIceDisconnected() {
                // TODO Auto-generated method stub
            }

            @Override
            public void onPeerConnectionClosed() {
                // TODO Auto-generated method stub
            }

            @Override
            public void onPeerConnectionStatsReady(StatsReport[] reports) {
                // TODO Auto-generated method stub
            }

         @Override
            public void onPeerConnectionError(String description) {
                // TODO Auto-generated method stub

            }
        };
        peer.createPeerConnectionFactory(factory, eglBase.getEglBaseContext(), param, events);
        if (type.equals(Type.SELF)) {
            VideoRenderer.Callbacks remoteRender = new VideoRenderer.Callbacks() {
                @Override
                public void renderFrame(VideoRenderer.I420Frame i420Frame) {
                    LogCat.i(i420Frame.toString());
                }
            };          peer.createPeerConnection(eglBase.getEglBaseContext(), proxyRenderer, remoteRender, sparam);
            peer.createOffer();
        } else if (type.equals(Type.OTHER)) {
            peer.createPeerConnection(eglBase.getEglBaseContext(), null, proxyRenderer, sparam);
            peer.createOffer();
        }
    }

需要注意的是PeerConnectionEvents中一些回调如何处理，以及自己的peer与其他人的peer的一些参数区别。

  1. 在RoomListener.onRoomResponse回调中set sdpAnswer:
      SessionDescription sdpAnswer = new SessionDescription(SessionDescription.Type.ANSWER,(String) response.getObj().get("sdpAnswer"));
      peer.setRemoteDescription(sdpAnswer);
  1. 在RoomListener.onRoomNotification回调中addRemoteIceCandidate:
if(notification.getMethod().equals(
            RoomListener.METHOD_ICE_CANDIDATE)){
        // TODO
        peer.addRemoteIceCandidate(iceCandidate);
    }

如果代码没有错，到此视频通道应该就打通成功，并且能看到B的实时视频了。

  • 显示视频画面

SurfaceViewRenderer与ProxyRenderer:
SurfaceViewRenderer是显示的控件,ProxyRenderer是实现了VideoRenderer.Callbacks的一个类:

private class ProxyRenderer implements VideoRenderer.Callbacks {
        private VideoRenderer.Callbacks target;

        synchronized public void renderFrame(VideoRenderer.I420Frame frame) {
            if (target == null) {
                Logging.d(TAG, "Dropping frame in proxy because target is null.");
                VideoRenderer.renderFrameDone(frame);
                return;
            }
            target.renderFrame(frame);
        }
        synchronized public void setTarget(VideoRenderer.Callbacks target) {
            this.target = target;
        }
    }

我们可以通过setTarget方法将视频流显示到一个SurfaceViewRenderer上，也可以随时更换到另一个SurfaceViewRenderer上：

proxyRenderer.setTarget(renderer);

  • 免费可用的STUN

List<PeerConnection.IceServer> iceServers = new ArrayList<>();
iceServers.add(new PeerConnection.IceServer("stun:stun.xten.com:3478"));
iceServers.add(new PeerConnection.IceServer("stun:stun.voipbuster.com:3478"));
iceServers.add(new PeerConnection.IceServer("stun:stun.voxgratia.org:3478"));
iceServers.add(new PeerConnection.IceServer("stun:stun.sipgate.net:10000"));
iceServers.add(new PeerConnection.IceServer("stun:stun.ekiga.net:3478"));
iceServers.add(new PeerConnection.IceServer("stun:stun.ideasip.com:3478"));
iceServers.add(new PeerConnection.IceServer("stun:stun.schlund.de:3478"));
iceServers.add(new PeerConnection.IceServer("stun:stun.voiparound.com:3478"));
iceServers.add(new PeerConnection.IceServer("stun:stun.voipbuster.com:3478"));
iceServers.add(new PeerConnection.IceServer("stun:stun.voipstunt.com:3478"));
iceServers.add(new PeerConnection.IceServer("stun:numb.viagenie.ca:3478"));
iceServers.add(new PeerConnection.IceServer("stun:stun.counterpath.com:3478"));
iceServers.add(new PeerConnection.IceServer("stun:stun.1und1.de:3478"));
iceServers.add(new PeerConnection.IceServer("stun:stun.gmx.net:3478"));
iceServers.add(new PeerConnection.IceServer("stun:stun.bcs2005.net:3478"));
iceServers.add(new PeerConnection.IceServer("stun:stun.callwithus.com:3478"));
iceServers.add(new PeerConnection.IceServer("stun:stun.counterpath.net:3478"));
iceServers.add(new PeerConnection.IceServer("stun:stun.internetcalls.com:3478"));
iceServers.add(new PeerConnection.IceServer("stun:stun.voip.aebc.com:3478"));

  • 可能遇到的问题

  1. 为什么IceConnectionState一直停在checking?
    打洞不通 :(
  2. 为什么只有声音没有画面?
    有声音说明打通了，但视频流没有放到控件上。确保这几点正确:
    • proxyRenderer设置到SurfaceViewRenderer上，并且传递到了PeerConncetionClient内部。
    • PCObserver.onAddStream中对stream做了处理:
@Override
        public void onAddStream(final MediaStream stream) {
            Log.d(TAG, "onAddStream");
            executor.execute(new Runnable() {
                @Override
                public void run() {
                    if (peerConnection == null || isError) {
                        return;
                    }
                    if (stream.audioTracks.size() > 1 || stream.videoTracks.size() > 1) {
                        reportError("Weird-looking stream: " + stream);
                        return;
                    }
                    if (stream.videoTracks.size() == 1) {
                        Log.i(TAG, "onAddStream Success");
                        remoteVideoTrack = stream.videoTracks.get(0);
                        remoteVideoTrack.setEnabled(renderVideo);
                        remoteVideoTrack.addRenderer(new VideoRenderer(remoteRender));
                    }
                }
            });
        }

- 如果是自己的画面出不来，看看是不是没有createVideoTrack:

if (videoCallEnabled) {
            mediaStream = factory.createLocalMediaStream("ARDAMS");
            if (videoCapturer == null) {
                reportError("Failed to open camera");
                return;
            }
            mediaStream.addTrack(createVideoTrack(videoCapturer));
            mediaStream.addTrack(createAudioTrack());
            peerConnection.addStream(mediaStream);
            findVideoSender();
        }

- 如果是其他人的画面出不来，看看sdpMediaConstraints添加OfferToReceiveVideo了没:

if (videoCallEnabled) {//videoCallEnabled || peerConnectionParameters.loopback
            sdpMediaConstraints.mandatory.add(
                    new MediaConstraints.KeyValuePair("OfferToReceiveVideo", "false"));
            sdpMediaConstraints.mandatory.add(
                    new MediaConstraints.KeyValuePair("OfferToReceiveAudio", "false"));
        } else {
            sdpMediaConstraints.mandatory.add(
                    new MediaConstraints.KeyValuePair("OfferToReceiveVideo", "true"));
            sdpMediaConstraints.mandatory.add(
                    new MediaConstraints.KeyValuePair("OfferToReceiveAudio", "true"));
        }

  • 总结

kurento android之路不易，但更多的坑在webrtc中。比如我遇到的nativeFreeFactory(nativeFactory)崩溃，根据日志原因在native层没有分离线程。看样子要改源码了。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 206,602评论 6赞 481
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 88,442评论 2赞 382
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 152,878评论 0赞 344
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 55,306评论 1赞 279
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 64,330评论 5赞 373
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 49,071评论 1赞 285
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,382评论 3赞 400
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 37,006评论 0赞 259
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 43,512评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,965评论 2赞 325
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,094评论 1赞 333
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,732评论 4赞 323
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,283评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,286评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,512评论 1赞 262
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,536评论 2赞 354
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,828评论 2赞 345

推荐阅读更多精彩内容

  • Spring Cloud
    Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具（例如配置管理，服务发现，断路器，智...
    卡卡罗2017阅读 134,599评论 18赞 139
  • Java初级面试题
    1. Java基础部分 基础部分的顺序：基本语法，类相关的语法，内部类的语法，继承相关的语法，异常的语法，线程的语...
    子非鱼_t_阅读 31,582评论 18赞 399
  • Android课程复习资料/提纲
    2017年5月17日 Kylin_Wu 标注（★☆）为考纲明确给出考点（必考） 常见手机系统（★☆） And...
    Azur_wxj阅读 1,801评论 0赞 10
  • 源码众享最新教程 - 草稿
    ¥开启¥ 【iAPP实现进入界面执行逐一显】 〖2017-08-25 15:22:14〗 《//首先开一个线程，因...
    小菜c阅读 6,358评论 0赞 17
  • 开发一个简易安卓音乐播放器
    本人初学Android，最近做了一个实现安卓简单音乐播放功能的播放器，收获不少，于是便记录下来自己的思路与知识总结...
    落日柳风阅读 19,086评论 2赞 41