hibench包含几个hadoop的负载 micro benchmarksSort:使用hadoop randomtextwriter生成数据，并对数据进行排序。 Wordcount:统计输入数据中每个单词的出现次数，输入数据使用hadoop randomtextwriter生成。 TeraSort ...
分类：
其他好文 时间：
2017-05-27 15:26:50
阅读次数：
404
在计算机领域，排序的重要性不用多说。而排序的算法，效率分析等也一直是研究的热点。 本文将给出使用Hadoop分布式方案进行排序的例子，这能极大提高排序的速度，是需要重点掌握的一个案例。 ...
分类：
编程语言 时间：
2017-05-20 12:15:47
阅读次数：
141
Ubuntu首次安装后，只有安装时设置的用户以及用户密码，这次安装中都是使用hadoop以及hadoop的用户名以及密码，但是该用户的权限在某些时候是不够的，因此需要切换至root用户下，并由于root用户此时的密码是动态的，因此还需要手动设置root用户密码，root用户默认是不能远程的，因此需要 ...
分类：
系统相关 时间：
2017-05-08 23:12:03
阅读次数：
209
使用Hadoop来分析和处理数据需要将数据加载到集群中并且将它和企业生产数据库中的其他数据进行结合处理。从生产系统加载大块数据到Hadoop中或者从大型集群的map reduce应用中获得数据是个挑战。用户必须意识到确保数据一致性，消耗生产系统资源，供应下游管道的数据预处理这些细节。用脚本来转化数据 ...
分类：
Web程序 时间：
2017-05-05 01:01:44
阅读次数：
235
一、文件准备 scala-2.12.1.tgz 下载地址: http://www.scala-lang.org/download/2.12.1.html 二、工具准备 2.1 Xshell 2.2 Xftp 三、操作步骤 3.1 通过Xftp将下载下来的Scala上传到指定虚拟机上传到/usr目录下 ...
分类：
Web程序 时间：
2017-04-25 21:13:05
阅读次数：
218
2011年在海量数据处理领域，Hadoop是人们津津乐道的技术，Hadoop不仅可以用来存储海量数据，还以用来计算海量数据。因为其高吞吐、高可靠等特点，很多互联网公司都已经使用Hadoop来构建数据仓库，高频使用并促进了Hadoop生态圈的各项技术的发展。一般来讲，根据业务需求，数据的处理可以分为离... ...
分类：
其他好文 时间：
2017-04-18 19:15:35
阅读次数：
210
使用hadoop工具将数据分析出来以后，须要做入库处理或者存到缓存中。不然就没了意义 一下是使用javaAPI操作hdfs存入缓存的代码： <span style="font-family:Microsoft YaHei;font-size:14px;">public class InterestT ...
分类：
数据库 时间：
2017-04-12 15:09:55
阅读次数：
179
一、使用hadoop发行版CDH5.9.0 开启HBase 1.2.0 开启HDFS 2.6.0 开启ZooKeeper 二、使用Storm 0.0.1-incubating 该版本没有external模块 三、使用kafka_2.10-0.9.0.1 （2.1.0表示编译kafka所使用的scal ...
分类：
其他好文 时间：
2017-04-07 20:27:32
阅读次数：
183
使用Hadoop版本0.x实现单词统计 查看结果： ...
使用hadoop fs相应命令时候总是出现 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicabl ...
分类：
其他好文 时间：
2017-02-24 18:16:02
阅读次数：
189
