Android直播推流学习

第一部

本文也主要是一步步分析spydroid源码。 首先spydroid的采用的协议是RTSP，目前我知道支持RTSP协议的服务器是Darwin，但是Darwin比较复杂，所以大家可以选择EasyDarwin，大家可以去搜搜看看。还是继续说spydroid吧，spydroid这个项目大家可以在github上搜到的，不过作者也是很久没有更新了，如果大家只做推流的话可以看看原作者的另外一个项目Spydroid。
项目包结构

从这个包结构可以看出作者大概的设计，首先是rtsp这个包，这个包里有一个RtspClient，这里主要是和服务器建立RTSP会话连接使用的。接着是Session SessionBuilder MediaStream三个类。首先是Session，这个对象保存了本次推流连接所有的音视频相关信息和资源，包括各种参数等等，SessionBuilder主要用于创建Session。MediaStream是一个父类，它下面有两个子类VideoStream和AudioStream，如果大家想要扩展音视频的编码支持，可以继承这两个子类进行改造。具体参照可以查看H264Stream和AACStream两个类。video和audio两个包就是具体的音视频编码和采集相关的东西；rtp和rtcp则是音视频打包发送相关的东西；gl包是作者封装了SurfaceView，这样可以不用通过摄像头来直接采集数据，而是从SurfaceView的预览里面采集视频数据；hw包则是处理硬编码相关的；mp4包是提取视频的sps和pps信息的。

第二部

现在已经对spydroid的项目有了大致的了解，接着我会分析一些重要的类。
首先是Session类，这个类主要有两个重要成员：AudioStream和VideoStream，通过该类可以初始化音视频流，停止音视频推流，以及获取相关流媒体信息等。在Spydroid的设计中，Session一般不是直接创建的，而是通过SessionBuilder进行创建的。SessionBuilder是一个单例模式的类，通过SessionBuilder我们创建Session对象，AudioStream和VideoStream对象，并且对AudioStream和VideoStream参数进行了初始化设置。代码如下：

Session mSession = SessionBuilder.getInstance()
                .setContext(getApplicationContext())
                .setAudioEncoder(SessionBuilder.AUDIO_AAC)//音频编码格式
                .setAudioQuality(new AudioQuality(8000,16000))//音频参数 采样率
                .setVideoEncoder(SessionBuilder.VIDEO_H264)//视频编码格式
                //视频参数 分辨率1280*720 帧率15 码率1000*1000
                .setVideoQuality(new VideoQuality(1280, 720, 15, 1000*1000))
                .setSurfaceView(mSurfaceView)//用于进行预览展示的SurfaceView
                .setPreviewOrientation(0)urfaceView//Camera方向
                .setCallback(this)//一些监听回调
                .build();

接下来是RtspClient这个类，这个类主要是负责与流媒体服务器进行RTSP协议会话连接，还是首先来看看相关初始化设置吧，这里我们首先设定我们推送的地址为：rtsp：//192.168.1.115:554/live.sdp。代码如下：

RtspClient mClient = new RtspClient();
mClient.setSession(mSession);//设置Session
mClient.setCallback(this);  //回调监听
mClient.setServerAddress("192.168.1.115", 554);//服务器的ip和端口号
//这里算是一个标识符，服务器会在连接后创建一个名为live.sdp的文件，所以这里的名字一定要唯一。
mClient.setStreamPath("/live.sdp");
mClient.startStream();//开始推流

暂时就这样吧，下一节具体分析RTSP的会话过程。

第三部

前面提到了Spydroid两个关键的类：Session和RtspClient。Session是负责维护流媒体资源的，而RtspClient则是建立RTSP链接的。接下来我们就详细的分析RtspClient类。
首先RtspClient有一个Parameter的内部类，这个内部类保存了服务器ip、端口号、Session对象等信息。在RtspClient对象创建的时候，首先是创建了一个HandlerThread和Handler对象，Spydroid整个项目用到了很多HandlerThread。大家可以把这个理解成一个线程就好了，Handler可以和HandlerThread对象绑定到一起，然后就可以像平时用Handler给主线程发送消息一样给这个HandlerThread对象发消息。实际上，Android应用的主线程就是一个HandlerThread。这样做的好处是方便线程之间进行通信，也方便管理。
创建好RtspClient并且设置好相关参数之后，就开始调用startStream（）方法进行推流了。我们看到Spydroid是在一个子线程中进行的推流的。
第一步是获取流媒体的sdp信息，这里调用了syncConfigure（）方法。继续跟踪下去会发现其实是分别调用了AudioStream和VideoStream的configure()方法。这里就暂时不深入分析，这些方法具体做了什么。这里调用这个的主要目的是提取编码器的相关信息，并组成sdp信息，用于后面RTSP会话阶段使用。
第二步是开始和服务器进行交互。这里分为了Announce、Setup、Record三个阶段。Announce阶段主要是向服务器发送客户端的。

//Announce阶段
private void sendRequestAnnounce() throws IllegalStateException, SocketException, IOException {
        //body就是sdp信息
        String body = mParameters.session.getSessionDescription();
        String request = "ANNOUNCE rtsp://"+mParameters.host+":"+mParameters.port+mParameters.path+" RTSP/1.0\r\n" +
                "CSeq: " + (++mCSeq) + "\r\n" +
                "Content-Length: " + body.length() + "\r\n" +
                "Content-Type: application/sdp\r\n\r\n" +
                body;
        Log.i(TAG,request.substring(0, request.indexOf("\r\n")));

        mOutputStream.write(request.getBytes("UTF-8"));
        mOutputStream.flush();
        //解析服务器返回的信息
        Response response = Response.parseResponse(mBufferedReader);

        if (response.headers.containsKey("server")) {
            Log.v(TAG,"RTSP server name:" + response.headers.get("server"));
        } else {
            Log.v(TAG,"RTSP server name unknown");
        }
        //获取服务器返回的SessionID
        if (response.headers.containsKey("session")) {
            try {
                Matcher m = Response.rexegSession.matcher(response.headers.get("session"));
                m.find();
                mSessionID = m.group(1);
            } catch (Exception e) {
                throw new IOException("Invalid response from server. Session id: "+mSessionID);
            }
        }
    //如果服务器的返回码是401 说明服务器需要进行帐号登录授权才可以进行使用
        if (response.status == 401) {
            String nonce, realm;
            Matcher m;

            if (mParameters.username == null || mParameters.password == null) throw new IllegalStateException("Authentication is enabled and setCredentials(String,String) was not called !");

            try {
                m = Response.rexegAuthenticate.matcher(response.headers.get("www-authenticate")); m.find();
                nonce = m.group(2);
                realm = m.group(1);
            } catch (Exception e) {
                throw new IOException("Invalid response from server");
            }

            String uri = "rtsp://"+mParameters.host+":"+mParameters.port+mParameters.path;
            String hash1 = computeMd5Hash(mParameters.username+":"+m.group(1)+":"+mParameters.password);
            String hash2 = computeMd5Hash("ANNOUNCE"+":"+uri);
            String hash3 = computeMd5Hash(hash1+":"+m.group(2)+":"+hash2);

            mAuthorization = "Digest username=\""+mParameters.username+"\",realm=\""+realm+"\",nonce=\""+nonce+"\",uri=\""+uri+"\",response=\""+hash3+"\"";

            request = "ANNOUNCE rtsp://"+mParameters.host+":"+mParameters.port+mParameters.path+" RTSP/1.0\r\n" +
                    "CSeq: " + (++mCSeq) + "\r\n" +
                    "Content-Length: " + body.length() + "\r\n" +
                    "Authorization: " + mAuthorization + "\r\n" +
                    "Session: " + mSessionID + "\r\n" +
                    "Content-Type: application/sdp\r\n\r\n" +
                    body;

            Log.i(TAG,request.substring(0, request.indexOf("\r\n")));

            mOutputStream.write(request.getBytes("UTF-8"));
            mOutputStream.flush();
            response = Response.parseResponse(mBufferedReader);

            if (response.status == 401) throw new RuntimeException("Bad credentials !");

        } else if (response.status == 403) {
            throw new RuntimeException("Access forbidden !");
        }

    }

Setup阶段，主要就是告诉服务器音视频数据是通过udp还是tcp方式进行发送，如果是udp方式，服务器会返回udp接收的端口号，tcp的话则是直接使用当前的socket进行数据发送。这里需要注意的是，某些RTSP服务器在Announce阶段并不会返回SessionID，可能会在Setup阶段返回。所以两个地方我们都要尝试获取服务器的SessionID，并且下一次向服务器发送消息的时候带上SessionID。

    //Setup阶段
    private void sendRequestSetup() throws IllegalStateException, SocketException, IOException {
    //通过循环 分别为音视频进行setup操作
        for (int i=0;i<2;i++) {
            Stream stream = mParameters.session.getTrack(i);
            if (stream != null) {
                String params = mParameters.transport==TRANSPORT_TCP ? 
                        ("TCP;interleaved="+2*i+"-"+(2*i+1)) : ("UDP;unicast;client_port="+(5000+2*i)+"-"+(5000+2*i+1)+";mode=receive");
                String request = "SETUP rtsp://"+mParameters.host+":"+mParameters.port+mParameters.path+"/trackID="+i+" RTSP/1.0\r\n" +
                        "Transport: RTP/AVP/"+params+"\r\n" +
                        addHeaders();
                //addHeaders()方法主要是在会话里添加SessionID
                Log.i(TAG,request.substring(0, request.indexOf("\r\n")));

                mOutputStream.write(request.getBytes("UTF-8"));
                mOutputStream.flush();
                Response response = Response.parseResponse(mBufferedReader);
                Matcher m;

                if (response.headers.containsKey("session")) {
                    try {
                        m = Response.rexegSession.matcher(response.headers.get("session"));
                        m.find();
                        mSessionID = m.group(1);
                    } catch (Exception e) {
                        throw new IOException("Invalid response from server. Session id: "+mSessionID);
                    }
                }
                //如果是UDP方式发送音视频数据包，那么则要获取服务器返回的UDP端口号
                if (mParameters.transport == TRANSPORT_UDP) {
                    try {
                        m = Response.rexegTransport.matcher(response.headers.get("transport")); m.find();
                        stream.setDestinationPorts(Integer.parseInt(m.group(3)), Integer.parseInt(m.group(4)));
                        Log.d(TAG, "Setting destination ports: "+Integer.parseInt(m.group(3))+", "+Integer.parseInt(m.group(4)));
                    } catch (Exception e) {
                        e.printStackTrace();
                        int[] ports = stream.getDestinationPorts();
                        Log.d(TAG,"Server did not specify ports, using default ports: "+ports[0]+"-"+ports[1]);
                    }
                } else {
                //如果是TCP方式发送音视频数据包，那么则直接使用当前的socket。
                    stream.setOutputStream(mOutputStream, (byte)(2*i));
                }
            }
        }
    }

Record阶段没什么需要分析的，这个阶段我个人理解是通知服务器准备接收音视频数据了。

Record阶段结束后，客户端和服务器的rtsp会话已经建立，接下来就是开始发送音视频数据了，后面主要分析视频数据，音频数据就暂时不分析了，基本上也是大同小异。
这里我们注意到在RTSP连接完成后，还有一些代码：

if (mParameters.transport == TRANSPORT_UDP) {
                        mHandler.post(mConnectionMonitor);
}
private Runnable mConnectionMonitor = new Runnable() {
        @Override
        public void run() {
            if (mState == STATE_STARTED) {
                try {
                    // We poll the RTSP server with OPTION requests
                    sendRequestOption();
                    mHandler.postDelayed(mConnectionMonitor, 6000);
                } catch (IOException e) {
                    // Happens if the OPTION request fails
                    postMessage(ERROR_CONNECTION_LOST);
                    Log.e(TAG, "Connection lost with the server...");
                    mParameters.session.stop();
                    mHandler.post(mRetryConnection);
                }
            }
        }
    };

这里，如果音视频数据包是以UDP方式进行发送的话，那么为了维护和服务器的RTSP会话链接，那么客户端必须要隔一段时间向服务器发送Option信息。上面的代码主要工作就是这个。
后面，我们会通过ViedeoStream来分析，spydroid是如将音视频数据发送带服务器的。

第四部

前面已经分析完客户端和服务器的RTSP会话连接，下面就进入推流阶段，也就是客户端向服务器发送音视频数据。这里就暂时只分析视频了，音频也是差不多的。
首先是VideoStream类，这个类和AudioStream一样继承了MediaStream，然后MediaStream实现了Stream接口。VideoStream也有子类：H264Stream和H263Stream，当然我们如果有其他编码方式也可以按照这个进行扩展。这里主要讲H264Stream的软编码。
发送数据的流程是，首先调用了H264Strem的start方法，在这个方法里首先执行了config()方法，这个方法主要是获取视频的sps和pps信息，并且以分辨率，帧率和码率为键值存储在sharepreference中，如果下一次参数一样则直接从sharepreference中取。
接着把sps和pps传递给了H264Packetizer对象，这个H264Packetizer是一个用来进行RTP打包的类，暂时就不分析了。接着调用了父类的start方法，然后根据判断系统能否使用硬编码来决定视频的编码器，这里我们先分析软编码。
在VideoStream的encodeWithMediaRecorder方法中我们看到，首先是创建了Localsocket，这是一个本地的Socket，主要用于系统的MediaRecoder服务接收数据；然后打开了Camera，并设置了视频采集编码参数。最后通过H264Packetizer对象进行编码。
注意：Spydroid的作者使用了很多子线程，很多地方的try catch并没有做任何处理，所以如果推流失败的时候，请检查这些try catch。
本次分析就到此为止了，Spydroid的RTP打包完全可以照搬！