标签：android style class blog code java
在Android的多媒体类中，MediaMuxer和MediaCodec算是比较年轻的，它们是JB 4.1和JB 4.3才引入的。前者用于将音频和视频进行混合生成多媒体文件。缺点是目前只能支持一个audio track和一个video track，而且仅支持mp4输出。不过既然是新生事物，相信之后的版本应该会有大的改进。MediaCodec用于将音视频进行压缩编码，它有个比较牛X的地方是可以对Surface内容进行编码，如KK 4.4中屏幕录像功能就是用它实现的。这里以一个很无聊的功能为例，就是在一个Surface上画图编码生成视频，同时用MIC录音编码生成音频，然后将音视频混合生成mp4文件。程序本身没什么用，但是示例了MediaMuxer和MediaCodec的基本用法。本程序主要是基于两个测试程序：一个是Grafika中的SoftInputSurfaceActivity和HWEncoderExperiments。它们一个是生成视频，一个生成音频，这里把它们结合一下，同时生成音频和视频。基本框架和流程如下：
首先是录音线程，主要参考HWEncoderExperiments。通过AudioRecord类接收来自麦克风的采样数据，然后丢给Encoder准备编码：
AudioRecord audio_recorder;
audio_recorder = new AudioRecord(MediaRecorder.AudioSource.MIC,
SAMPLE_RATE, CHANNEL_CONFIG, AUDIO_FORMAT, buffer_size);
// ...
audio_recorder.startRecording();
while (is_recording) {
byte[] this_buffer = new byte[frame_buffer_size];
read_result = audio_recorder.read(this_buffer, 0, frame_buffer_size); // read audio raw data
// …
presentationTimeStamp = System.nanoTime() / 1000;
audioEncoder.offerAudioEncoder(this_buffer.clone(), presentationTimeStamp); // feed to audio encoder
}这里也可以设置AudioRecord的回调（通过setRecordPositionUpdateListener()）来触发音频数据的读取。offerAudioEncoder()里主要是把audio采样数据送入音频MediaCodec的InputBuffer进行编码：
ByteBuffer[] inputBuffers = mAudioEncoder.getInputBuffers();
int inputBufferIndex = mAudioEncoder.dequeueInputBuffer(-1);
if (inputBufferIndex >= 0) {
ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];
inputBuffer.clear();
inputBuffer.put(this_buffer);
...
mAudioEncoder.queueInputBuffer(inputBufferIndex, 0, this_buffer.length, presentationTimeStamp, 0);
}下面，参考Grafika-SoftInputSurfaceActivity，并加入音频处理。主循环大体分四部分：
try {
// Part 1
prepareEncoder(outputFile);
...
// Part 2
for (int i = 0; i < NUM_FRAMES; i++) {
generateFrame(i);
drainVideoEncoder(false);
drainAudioEncoder(false);
}
// Part 3
...
drainVideoEncoder(true);
drainAudioEncoder(true);
} catch (IOException ioe) {
throw new RuntimeException(ioe);
} finally {
// Part 4
releaseEncoder();
}第1部分是准备工作，除了video的MediaCodec，这里还初始化了audio的MediaCodec：
MediaFormat audioFormat = new MediaFormat(); audioFormat.setInteger(MediaFormat.KEY_SAMPLE_RATE, 44100); audioFormat.setInteger(MediaFormat.KEY_CHANNEL_COUNT, 1); ... mAudioEncoder = MediaCodec.createEncoderByType(AUDIO_MIME_TYPE); mAudioEncoder.configure(audioFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE); mAudioEncoder.start();第2部分进入主循环，app在Surface上直接绘图，由于这个Surface是从MediaCodec中用createInputSurface()申请来的，所以画完后不用显式用queueInputBuffer()交给Encoder。drainVideoEncoder()和drainAudioEncoder()分别将编码好的音视频从buffer中拿出来（通过dequeueOutputBuffer()），然后交由MediaMuxer进行混合（通过writeSampleData()）。注意音视频通过PTS（Presentation time stamp，决定了某一帧的音视频数据何时显示或播放）来同步，音频的time stamp需在AudioRecord从MIC采集到数据时获取并放到相应的bufferInfo中，视频由于是在Surface上画，因此直接用dequeueOutputBuffer()出来的bufferInfo中的就行，最后将编码好的数据送去MediaMuxer进行多路混合。
while(true) {
int encoderStatus = mVideoEncoder.dequeueOutputBuffer(mBufferInfo, TIMEOUT_USEC);
if (encoderStatus == MediaCodec.INFO_TRY_AGAIN_LATER) {
...
} else if (encoderStatus == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) {
encoderOutputBuffers = mVideoEncoder.getOutputBuffers();
} else if (encoderStatus == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
MediaFormat newFormat = mAudioEncoder.getOutputFormat();
mAudioTrackIndex = mMuxer.addTrack(newFormat);
mNumTracksAdded++;
if (mNumTracksAdded == TOTAL_NUM_TRACKS) {
mMuxer.start();
}
} else if (encoderStatus < 0) {
...
} else {
ByteBuffer encodedData = encoderOutputBuffers[encoderStatus];
...
if (mBufferInfo.size != 0) {
mMuxer.writeSampleData(mVideoTrackIndex, encodedData, mBufferInfo);
}
mVideoEncoder.releaseOutputBuffer(encoderStatus, false);
if ((mBufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
break;
}
}
}第3部分是结束录制，发送EOS信息，这样在drainVideoEncoder()和drainAudioEncoder中就可以根据EOS退出内循环。第4部分为清理工作。把audio和video的MediaCodec，MediaCodec用的Surface及MediaMuxer对象释放。Android中MediaMuxer和MediaCodec用例 - audio+video,布布扣,bubuko.com
Android中MediaMuxer和MediaCodec用例 - audio+video
标签：android style class blog code java
原文地址：http://blog.csdn.net/jinzhuojun/article/details/32163149
