标签:授权 ade index 经验 默认 流程 阅读 play 大致
欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~
不久前,团队发现其Android平台App在播放MV视频《凤凰花开的路口》时,会带有如电流声一般的杂音,这影响了用户体验。 研发同学在初步定位时,发现有如下特征:
然而,各平台都是统一用HLS格式播放,即源头都是一样的。对于该问题,我们的定位思路如下:
分析播放流程如上图(图中内容从左往右),概括其关键步骤如下:
read_thread
;audioq
;sampq
。avformat_open_input
;avformat_find_stream_info
;av_find_best_stream
;stream_component_open
;av_read_frame(ic, pkt)
;audioq
中;audio_thread
中对audioq
中的数据进行decoder_decode_frame
解码;AVFrame
存放到sampq
中;aout_thread_n
中,通过调用回调接口sdl_audio_callback
,对sampq
中的音频帧数据进行解码成PCM数据;AudioTrack
播放。在梳理出播放流程后,标记出找到有可能出错的环节,方便进行“分层定位”(图中黄色标记)
AudioTrack
的设置是否有问题;接下来,根据难易程度,对上述环节逐个验证。
把Android平台播放的ts文件与各平台的进行比对,发现两者一样,该环节正常。
通过日志检查AudioTrack
以下配置参数:
以上参数设置的值与音频流的相符合,该环节正常。
验证解码逻辑是否有问题,可以通过对PCM数据进行分析来确认。 对aout_thread_n
进行修改,将PCM数据额外输出到本地,并与正常的PCM数据进行对比。
正常PCM数据频谱图:
异常PCM数据频谱图:
正常PCM数据波形图:
异常PCM数据波形图:
对比分析可得出:
若解码逻辑正常,再结合之前已经验证文件下载正常。可以推测是数据读取环节出现异常。
通过对数据读取的各步骤增加日志后,发现在av_find_best_stream
音频流选择时出现异常: ffmpeg -i
发现,该视频ts分片有2个音频流
通过强制分别读取两条音频流数据播放,发现:
基于此,也就验证了在第3步中的假设是正确的。
由上分析,可以得出结论:Android平台选择了第二条数据有问题的流进行播放。
分析代码,大致如下所列,av_find_best_stream
函数选择音频流,该函数会根据2个主要参数进行选择:
avformat_find_stream_info
)时,额外解码出来的帧数(选择多的)int av_find_best_stream(AVFormatContext *ic, enum AVMediaType type,
int wanted_stream_nb, int related_stream,
AVCodec **decoder_ret, int flags)
{
for (i = 0; i < nb_streams; i++) {
count = st->codec_info_nb_frames; //音频流探测中解码的帧数
bitrate = avctx->bit_rate;//音频流的比特率
multiframe = FFMIN(5, count);
//先比较解码帧数,再比较音频流比特率,谁大谁选
if ((best_multiframe > multiframe) ||
(best_multiframe == multiframe && best_bitrate > bitrate) ||
(best_multiframe == multiframe && best_bitrate == bitrate && best_count >= count))
continue;
best_count = count;
best_bitrate = bitrate;
best_multiframe = multiframe;
ret = real_stream_index;//最后选择的流index
best_decoder = decoder;
}
return ret;
}
在该视频中,我们可以看到:
codec_info_nb_frames | bit_rate | |
---|---|---|
audio_stream 1 | 38 | 122625 |
audio_stream 2 | 39 | 126375 |
第二条流的解码帧数和比特率要比第一条高,因此选择了第二条流播放
分析了以上选择规则后,我们对各平台、框架进行了选择规则的对比:
备注:
ffmpeg -i INPUT_FILE -map 0:0 -map 0:2 -map 0:1 -c copy -y OUTPUT_FILE
ffmpeg -i INPUT_FILE_1 -i INPUT_FILE_2 -map 0:0 -map 0:1 -map 0:2 -map 1:0 -c copy OUTPUT_FILE
从以上数据看到,iOS和PC平台会默认选择第一条流,而在Android平台的FFmpeg和ExoPlayer会根据音频流属性来选择数值更好的一条。
但以上2个选择方案都无法识别“内容异常”的音频流。
因此,处理该问题,需要从音源上进行修复和规避,我们的建议是从源头杜绝,从终端规避:
相关阅读
wamp2.0配置Zend Optimizer
藏匿在邮件里的“坏小子”
打造一个个人阅读追踪系统
【每日课程推荐】机器学习实战!快速入门在线广告业务及CTR相应知识
此文已由作者授权腾讯云+社区发布,更多原文请点击
搜索关注公众号「云加社区」,第一时间获取技术干货,关注后回复1024 送你一份技术课程大礼包!
海量技术实践经验,尽在云加社区!
5步告诉你QQ音乐的完美音质是怎么来的,播放器的秘密都在这里
标签:授权 ade index 经验 默认 流程 阅读 play 大致
原文地址:https://www.cnblogs.com/qcloud1001/p/9768030.html