分给我的云服务器只有2台= = 所以只用两台来搭建~多台也就是多配几个slave节点木有关系的啦~那么下来开始啦一、首先准备好编译过的hadoop2.6版本,以及相关jar包~准备开始搞啊~解压命令是 tar zxvf xxxxxxx(文件名)创建tmp路径 用于hadoop相关路径mkdir tm...
分类：
其他好文 时间：
2015-10-31 15:39:02
阅读次数：
462
注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系######注意#####...
分类：
其他好文 时间：
2015-10-04 15:49:48
阅读次数：
325
作者：周志湖
网名：摇摆少年梦
微信号：zhouzhihubeyond本节主要内容
操作系统环境准备
Hadoop 2.4.1集群搭建
Spark 1.5.0 集群部署
注：在利用CentOS 6.5操作系统安装spark 1.5集群过程中，本人发现Hadoop 2.4.1集群可以顺利搭建，但在Spark 1.5.0集群启动时出现了问题（可能原因是64位操作系统原因，源码需要重新编译，但本人没经...
分类：
其他好文 时间：
2015-09-19 08:31:57
阅读次数：
230
前两天和一个朋友在聊天的时候说，很多自学Hadoop的朋友80%都会夭折在集群环境的搭建上，原因吗无在乎：1，没有很好的电脑配置，不能像机房一样用多台电脑搭建起集群；2，对linux的不熟悉，各种小黑窗，linux命令……；3，环境搭建的反锁步骤，需要耐心+细心+认真等等吧。不过吗，我觉的，只要敢于坚持，敢于付出都是会成功的。下边讲述一下我的Hadoop集群搭建过程，由于条件有限，也是在虚拟机中进...
分类：
其他好文 时间：
2015-08-27 02:15:00
阅读次数：
282
系统环境4台联想R510服务器，其中master节点4核心、8GB，其它节点双核心、4GB。网卡：100M。共有硬盘6TB。网络环境内网。Centos6.5 x64（安装系统时尽量把开发包安装齐全，另master节点需要Mysql可以在安装系统时勾选）。准备工作卸载系统自带OPEN-JDK（所有节点...
分类：
其他好文 时间：
2015-08-02 16:30:06
阅读次数：
219
1、检查网络状况Dos命令：ping ip地址,同时，在Linux下通过命令：ifconfig可以查看ip信息2、修改虚拟机的ip地址 打开linux网络连接，在桌面右上角，然后编辑ip地址，修改ip地址后，重启网络服务：service network restart,如果网络重启失败，可以在虚拟机...
分类：
其他好文 时间：
2015-07-16 23:55:00
阅读次数：
145
在master这台机器上安装Hadoop 2.2.0,Hadoop 2.2.0的下载地址为：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0///( https://archive.apache.org/dist/hadoop/co...
分类：
其他好文 时间：
2015-07-11 19:59:30
阅读次数：
145
一、境遇接触Hadoop已经有半年了，从Hadoop集群搭建到Hive、HBase、Sqoop相关组件的安装，甚至SparkonHive、Phoenix、Kylin这些边缘的项目都有涉及。如果说部署，我自认为可以没有任何问题，但是如果说我对于这个系统已经掌握了，我却不敢这么讲，因为至少MapReduce我还没有熟..
分类：
其他好文 时间：
2015-06-24 16:42:14
阅读次数：
236
Hadoop集群的部署网上很多关于hadoop集群部署的文章，我这里重新整理下，毕竟，别人的经历，让你按照着完整走下来，总有或多或少的问题。小技巧分享:有些初学者喜欢在自己机器上安装虚拟机来部署hadoop，毕竟，很多同学的学习环境都是比较受限的。我这里则直接选择了阿里云的机..
分类：
编程语言 时间：
2015-06-11 23:10:51
阅读次数：
548
Hadoop集群搭建好之后，解压Spark文件即可 Spark安装包 http://yunpan.cn/csPh8cf2n5WrT 提取码 1085 Spark命令-统计README.md文件行数，以及寻找所含关键字，以及文件第一行的相关命令 val lines = sc.textFile("REA...
分类：
其他好文 时间：
2015-04-14 09:51:10
阅读次数：
751
