码迷,mamicode.com
首页 > 其他好文 > 详细

大数据测试技术研究

时间:2019-04-09 12:44:38      阅读:172      评论:0      收藏:0      [点我收藏+]

标签:zone   info   统计分析   速度   pos   通过   处理   软件   程序   

大数据的特征:

数据体量巨大(volume)
数据类型繁多(variety)
价值密度低(value)
处理速度快(velocity)

大数据测试的挑战:

平台软件的复杂性和发布节奏之间的矛盾
通用平台支持多种不同应用带来测试用例数的爆炸
对于大规模集群上的问题如何用小规模测试集群暴露

处理流程的5个阶段:

大数据采集
大数据导入/预处理
大数据统计分析
大数据挖掘
大数据分析

大数据测试——功能性测试方法:

数据导入/预处理验证阶段
MapReduce数据输出验证阶段
验证大数据ETL(数据提取、转换和加载)到数据仓库
验证分析报告

大数据测试——非功能性测试方法:

性能测试
容错性测试
可用性测试
扩展性测试
稳定性测试
部署方式测试
数据一致性测试
压力测试

大数据测试——针对“4V”特性的测试

大体量特性测试
多类型特性测试
高速度特性测试
低价值密度特性测试

大数据测试基准

TestDFSIO:用于测试HDFS的IO性能,使用一个MapReduce作业来并发地执行读写操作,每个map任务用于读或写每个文件,map的输出用于收集与处理文件相关的统计信息,reduce用于累积统计信息,并产生统计总结;
 
MRBench:会多次重复执行一个小作业,用于检查在机群上小作业的运行是否可重复以及运行是否高效;
 
NNBench:用于测试NameNode的负载,它会生成很多与HDFS相关的请求,给NameNode施加较大的压力。这个测试能在HDFS上模拟创建、读取、重命名和删除文件等操作;
 
HiBench:Intel开发的一个Hadoop benchmark suit,包含9个典型的Hadoop负载,benchmark程序负载的特点如下表所示;
技术图片

Sleep:命令行程序是批处理延时用的,占用资源少。Sleep基准可以用来比较核调度和MapReduce处理的有效性,在Hadoop World 2011上被提出来,可以测试分配任务到网络平台的速度;

TeraSort :测试Hadoop的一个有效的排序测试。通过Hadoop自带的TeraSort 排序程序,测试不同的map任务和reduce任务数量对Hadoop性能的影响。实验数据由程序中的TeraGen程序生成,数据量为1GB和10GB。一个完整的TeraSort 测试需要按以下三步执行:用TeraGen 生成随机数据;对输入数据运行TeraSort; 用TeraValidate 验证排好序的输出数据;

大数据测试常用工具

LTP( Linux test project)

Locktests

IOzone

Postmark

Fio

Filebench

 

大数据测试技术研究

标签:zone   info   统计分析   速度   pos   通过   处理   软件   程序   

原文地址:https://www.cnblogs.com/ratels/p/10676019.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!