本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。
实验环境搭建
在进行后续操作前，确保下列条件已满足。
1. 下载spark binary 0.9.1
2. 安装scala
3. 安装sbt
4. 安装java
启动spark-shell单机模式运行，即local模式
local模式运行非常简单，只要...
分类：
其他好文 时间：
2015-06-14 09:38:28
阅读次数：
219
Hadoop部署 Ubuntu14.04 Hadoop有3种部署方式。单机模式，伪分布模式，完全分布式（集群，3个节点）。一、单机模式1 基础环境1.1创建hadoop用户组sudo addgroup hadoop1.2创建hadoop用户sudo adduser -ingroup hadoop h...
分类：
系统相关 时间：
2015-06-02 17:25:12
阅读次数：
375
、实验环境说明注意：本实验需要按照上一节单机模式部署后继续进行操作1. 环境登录无需密码自动登录，系统用户名 shiyanlou，密码 shiyanlou2. 环境介绍本实验环境采用带桌面的 Ubuntu Linux 环境，实验中会用到桌面上的程序：XfceTerminal：Linux 命令行终端，...
分类：
其他好文 时间：
2015-06-02 14:46:51
阅读次数：
145
一、实验环境说明1. 环境登录无需密码自动登录，系统用户名shiyanlou，密码shiyanlou2. 环境介绍本实验环境采用带桌面的Ubuntu Linux环境，实验中会用到桌面上的程序：XfceTerminal: Linux命令行终端，打开后会进入Bash环境，可以使用Linux命令Firef...
分类：
其他好文 时间：
2015-06-02 14:46:51
阅读次数：
218
本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。1.下载sparkbinary0.9.12.安装scala3.安装sbt4.安装java启动spark-shell单机模式运行，即local模式local模式运行非常简单，只要运行以..
分类：
Web程序 时间：
2015-05-28 18:21:38
阅读次数：
327
本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。
实验环境搭建
在进行后续操作前，确保下列条件已满足。
1. 下载spark binary 0.9.1
2. 安装scala
3. 安装sbt
4. 安装java
启动spark-shell单机模式运行，即local模式
local模式运行非常简单，只要运行以下命令即可，假设当前目录是...
分类：
Web程序 时间：
2015-05-28 18:13:05
阅读次数：
208
本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。1. 下载spark binary 0.9.12. 安装scala3. 安装sbt4. 安装java启动spark-shell单机模式运行，即local...
分类：
Web程序 时间：
2015-05-28 17:39:19
阅读次数：
231
问题：使用了一周Ubuntu14.04，感觉自己当初设置的用户名和主机名太长，想要修改。
结果：一晚上就过去了，还是悲剧。
google搜索：ubuntu修改用户名，看了排在第一位同学的文章，根据描述修改/etc/passwd和/etc/shadow，将其中的旧用户名修改为新用户名，修改完成之后重启，然后就悲
剧了。
虽然显示新用户名，但是输入密码之后，仍然停留在原界面，无法进入新用户下的...
分类：
系统相关 时间：
2015-05-26 14:32:02
阅读次数：
209
Hadoop1.2.1 单机模式安装Hadoop组件依赖图(从下往上看)安装步骤：详细步骤： 设置ssh自动登录(如下图)： 1、输入命令【ssh-keygen-trsa】，然后一直按回车就可以了 2、然后切换目录到~.ssh目录下执行命令【cpid_rsa.pubauthorized_key...
分类：
其他好文 时间：
2015-05-24 23:08:28
阅读次数：
325
首先安装JDK：然后安装hadoop：最后的实例测试：首先在 /opt/data 目录下创建 input目录，然后把hadoop的conf目录下的所有xml文件拷贝到上面的input目录，然后运行下面图片的第三行命令(注意此条命令我是在hadoop目录下运行的)，最后查看output目录下的文件，检...
分类：
其他好文 时间：
2015-05-17 00:45:16
阅读次数：
185
