码迷,mamicode.com
首页 >  
搜索关键字:ansible playbook hadoop    ( 16441个结果
分布式HBase-0.98.3环境搭建
Hbase是一个分布式,版本化(versioned),构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库.本文使用默认的Zookeeper,构造HDFS基础上的分布式Hbase。1 安装环境操作系统:Ubuntu-12.04 JDK版本:jdk1.7.0_51 计算....
分类:其他好文   时间:2014-06-26 00:31:04    阅读次数:302
hadoop技术内幕-序列化与压缩(一)
一、java内建序列化机制 java序列化机制将对象转换为连续的byte数据,这些数据可以在日后还原为原先的对象状态,还能自动处理不同操作系统上的差异,也不用担心字节排列次序。 java的类实例可被序列化只要在类声明中加入implements Serializable即可。Serializabl.....
分类:其他好文   时间:2014-06-25 23:07:38    阅读次数:255
Spark1.0.0 分布式环境搭建
软件版本如下: Hostname IP Hadoop版本 Hadoop 功能 系统 master 192.168.119.128 1.1.2 namenode jdk1.6+hadoop+scala2.9.3+spark1.0.0 centos4.9...
分类:其他好文   时间:2014-06-25 19:50:09    阅读次数:227
CDH5上安装Hive,HBase,Impala,Spark等服务
Apache Hadoop的服务的部署比较繁琐,需要手工处理配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群,提供向导式的安装步骤。由于需要对Hive,HBase,Impala,Spark进行功能测试,就采用了Cloudera Manager方式进行安装。本文讲解的是parcel安装方式。...
分类:其他好文   时间:2014-06-24 22:44:17    阅读次数:501
MapReduceTopK TreeMap
MapReduce TopK统计加排序中介绍的TopK在mapreduce的实现。 本案例省略的上面案例中的Sort步骤,改用TreeMap来实现获取前K个词 package TopK1; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configurat...
分类:其他好文   时间:2014-06-24 22:33:34    阅读次数:293
MapReduce程序依赖的jar包
难得想写个mapreduce程序,发现已经不记得需要添加那些jar包了,网上找了一会也没发现准确的答案。幸好对hadoop体系结构略知一二,迅速试出了写mapreduce程序需要的三个jar包。              不多不少,3个包足矣……贴出来免得其朋友再走弯路      (请忽视包的版本不一致问题,是我从其他项目中东拼西凑过来的)...
分类:其他好文   时间:2014-06-24 21:44:15    阅读次数:321
ubuntu 14.04 hadoop eclipse 初级环境配置
接触hadoop第二天,配置hadoop到环境也用了两天,将自己配置到过程写在这里,希望对大家有所帮助! ---------------安装jdk------------------------------- 1. 下载jdk1.6.0_45 2.解压到opt文件夹下,配置/etc/profile,在文件尾部加上 #set java environment JAVA_H...
分类:系统相关   时间:2014-06-24 21:02:22    阅读次数:285
shell 脚本实战笔记(4)--linux磁盘分区重新挂载
背景: Hadoop的HDFS文件系统的挂载, 默认指定的文件目录是/mnt/disk{N}. 当运维人员, 不小心把磁盘挂载于其他目录, 比如/mnt/data, /mnt/disk01, /mnt/diska时, HDFS会选择根分区, 当往HDFS里灌数据时, 导致的结果往往是根分区被快速的....
分类:系统相关   时间:2014-06-24 15:05:25    阅读次数:304
Hadoop之MapReduce程序应用一
摘要:MapReduce程序处理专利数据集。 关键词:MapReduce程序 专利数据集...
分类:其他好文   时间:2014-06-22 17:03:44    阅读次数:188
Hadoop入门一:Hadoop简介
从数据爆炸开始。。。  1.1 第三次工业革命      第一次:18世纪60年代,手工工厂向机器大生产过渡,以蒸汽机的发明和使用为标志。      第二次:19世纪70年代,各种新技术新发明不断被应用于工业生产,以电力的发明使用为标志。      第三次:20世界四五十年代末,以高新技术为代表的新科学技术革命,以原子能、航天技术和电子计算机 1.2 信息技术发展...
分类:其他好文   时间:2014-06-21 21:12:22    阅读次数:399
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!