进入第二台机器，看一下这台主机的IP地址： 可以看出这台主机的IP地址是“192.168.184.131”. 我们在/etc/hostname中把主机名称修改为“Slave1”: 保存退出。 为了使修改生效，我们重新启动该机器，此时查看主机名...
分类：
其他好文 时间：
2014-09-01 10:56:13
阅读次数：
194
进入第二台机器，看一下这台主机的IP地址：可以看出这台主机的IP地址是“192.168.184.131”.我们在/etc/hostname中把主机名称修改为“Slave1”:保存退出。为了使修改生效，我们重新启动该机器，此时查看主机名：表明我们的修改生效了。进入第三台机器，看一下这台主机的IP地址：...
分类：
其他好文 时间：
2014-09-01 10:42:12
阅读次数：
157
Spark Streaming 是基于spark的流式批处理引擎，其基本原理是把输入数据以某一时间间隔批量的处理，当批处理间隔缩短到秒级时，便可以用于处理实时数据流。本节描述了Spark Streaming作业的执行流程。图1 Spark Streaming作业的执行流程具体流程：客户端提交作业后启...
分类：
其他好文 时间：
2014-08-30 13:52:19
阅读次数：
292
Spark GraphX宝刀出鞘，图文并茂研习图计算秘笈 ????? 大数据的概念与应用，正随着智能手机、平板电脑的快速流行而日渐普及，大数据中图的并行化处理一直是一个非常热门的话题。图计算正在被广泛地应用于社交...
分类：
其他好文 时间：
2014-08-29 18:37:08
阅读次数：
270
Spark GraphX宝刀出鞘，图文并茂研习图计算秘笈 大数据的概念与应用，正随着智能手机、平板电脑的快速流行而日渐普及，大数据中图的并行化处理一直是一个非常热门的话题。图计算正在被广泛地应用于社交网络、电子商务，地图等领域。对于图计算的两个核心问题：图存储模式和图计算模型，Spark Graph...
分类：
其他好文 时间：
2014-08-29 17:55:48
阅读次数：
338
在VMWare 中准备第二、第三台运行Ubuntu系统的机器； ? 在VMWare中构建第二、三台运行Ubuntu的机器和构建第一台机器完全一样，再次不在赘述。。 与安装第一台Ubuntu机器不同的几点是： 第一点：我们把第二、三台...
分类：
其他好文 时间：
2014-08-28 17:04:31
阅读次数：
264
今天在centos6.3上搭建了hadoop+hive＋spark系统，在运行/usr/local/spark-1.0.0/bin/spark-shell出现找不到hive相关的类，于是修改了spark-env.sh在spark_classpath里添加了hive的库路径exportSPARK_CLASSPATH=/usr/local/spark-1.0.0/lib_managed/jars/spark-assembly-1.0.0-..
分类：
其他好文 时间：
2014-08-28 15:00:30
阅读次数：
339
前提你得安装有Hadoop 我的版本hadoop2.3-cdh5.1.01、下载maven包2、配置M2_HOME环境变量，配置maven 的bin目录到path路径3、export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCa...
分类：
其他好文 时间：
2014-08-27 18:37:18
阅读次数：
252
1.Tachyon简介Tachyon是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，就像Spark和 MapReduce那样。通过利用信息继承，内存侵入，Tachyon获得了高性能。Tachyon工作集文件缓存在内存中，并且让不同的 Jobs/Queries以及框架都能...
分类：
其他好文 时间：
2014-08-27 18:32:08
阅读次数：
454
执行文件拷贝操作 拷贝后的“input”文件夹的内容如下所示： 和我们的hadoop安装目录下的“conf”文件的内容是一样的。 现在，在我们刚刚构建的伪分布式模式下运行wordcount程序： 运行完成后我们查看一下输出的结...
分类：
其他好文 时间：
2014-08-27 13:13:48
阅读次数：
314
