启动并查看集群的状况
第一步：启动Hadoop集群，这个在第二讲中讲解的非常细致，在此不再赘述：
启动之后在Master这台机器上使用jps命令，可以看到如下进程信息：
在Slave1 和Slave2上使用jps会看到如下进程信息：
第二步：启动Spark集群
在Hadoop集群成功启动的基础上，启动Spark集群需要使用Spark的sbin...
分类：
其他好文 时间：
2014-09-10 10:55:20
阅读次数：
225
执行文件拷贝操作 拷贝后的“input”文件夹的内容如下所示： 和我们的hadoop安装目录下的“conf”文件的内容是一样的。 现在，在我们刚刚构建的伪分布式模式下运行wordcount程序： 运行完成后我们查看一下输出的结...
分类：
其他好文 时间：
2014-08-27 13:13:48
阅读次数：
314
执行文件拷贝操作拷贝后的“input”文件夹的内容如下所示：和我们的hadoop安装目录下的“conf”文件的内容是一样的。现在，在我们刚刚构建的伪分布式模式下运行wordcount程序：运行完成后我们查看一下输出的结果：部分统计结果如下：此时我们到达Hadoop的web控制台会发现我们提交并成功的...
分类：
其他好文 时间：
2014-08-27 12:49:47
阅读次数：
236
第四步：配置Hadoop伪分布模式并运行Wordcount示例伪分布模式主要涉及一下的配置信息：修改Hadoop的核心配置文件core-site.xml，主要是配置HDFS的地址和端口号；修改Hadoop中HDFS的配置文件hdfs-site.xml，主要是配置replication;修改Hadoo...
分类：
其他好文 时间：
2014-08-25 16:51:54
阅读次数：
267
安装sshHadoop是采用ssh进行通信的，此时我们要设置密码为空，即不需要密码登陆，这样免去每次通信时都输入秘密，安装如下：输入“Y”进行安装并等待自动安装完成。安装ssh完成后启动服务以下命令验证服务是否正常启动：可以看到ssh正常启动；设置免密码登录，生成私钥和公钥：在/root/.ssh中...
分类：
其他好文 时间：
2014-08-14 13:50:18
阅读次数：
879
安装Java1.打开终端，建立新目录“/usr/lib/java”，如下图所示：2.把下载的JDK文件移到刚刚创建的“/usr/lib/java”中，如下图所示3.解压JDK文件，如下图所示：解压完成的文件目录如下图所示：4.修改环境变量:进入如下图所示的配置文件中：按下“i”进入INSERT模式，...
分类：
其他好文 时间：
2014-08-13 12:30:46
阅读次数：
211
为了简化权限等问题，下面我们以root用户的身份登录和使用Ubuntu系统，而Ubuntu在默认情况下并没有开启root用户，这需要我们做如下设置：sudo -s进入 root用户权限模式vim/etc/lightdm/lightdm.conf[SeatDefaults]greeter-sessio...
分类：
其他好文 时间：
2014-08-12 12:52:14
阅读次数：
230
3.点击“Finish”完成虚拟系统的创建，如下图所示：点击我们创建的Ubuntu，如下所示点击“CD/DVD(IDE)”进入如下界面选择我们的Ubuntu的ISO的具体存放路径，选择好后如下图所示：点击“OK”完成设置；点击“Memory”，进入如下界面：此时把我们虚拟的内存设置为2G，如下所示：...
分类：
其他好文 时间：
2014-08-06 18:36:01
阅读次数：
195
Unbuntu系统是我们开发Hadoop时最常用的操作系统，下面带领大家一步步完成Vmware虚拟机下Unbuntu系统的安装创建Vmware中的虚拟系统：我们选择的是“Typical”的方式，点击“Next”进入下一步：选择稍后安装操作系统，点击“Next”进入下一步：选择安装Linux系统的Ub...
分类：
其他好文 时间：
2014-08-05 11:04:59
阅读次数：
309
第二步：安装每个软件安装Vmware虚拟机点击“VMware-workstation-full-9.0.2-1031769”可执行文件，如下图所示：点击“Next”进入下一步： 我们选择“Custom”进入下一步；2.选择所有的功能，如下所示： 点击”Next”进入如下图所示界面： ...
分类：
其他好文 时间：
2014-08-01 15:56:51
阅读次数：
243
