原文链接 http://www.cnblogs.com/shenh062326/p/3658543.htmlSpark架构与作业执行流程简介Local模式运行Spark最简单的方法是通过Local模式（即伪分布式模式）。 运行命令为：./bin/run-example org.apache.spar...
分类：
其他好文 时间：
2015-09-14 01:49:15
阅读次数：
178
Tachyon是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，就像Spark和 MapReduce那样。通过利用信息继承，内存侵入，Tachyon获得了高性能。Tachyon工作集文件缓存在内存中，并且让...
分类：
其他好文 时间：
2015-09-10 19:41:48
阅读次数：
280
1、安装Ubutun 14.04 Desktop LTS下载ISO文件，ubuntu-14.04.1-desktop-amd64.iso。在Virtualbox或者VmWare中新建虚拟机，将ISO文件设置为启动光盘。一路下一步，在需要输入用户的地方，输入用户名hduser，直到系统安装完成。重启虚...
分类：
其他好文 时间：
2015-09-09 16:22:54
阅读次数：
253
Spark的运行模式多种多样，在单机上既可以以本地模式运行，也可以以伪分布式模式运行。而当以分布式的方式运行在Cluster集群中时，底层的资源调度可以使用Mesos 或者是Hadoop Yarn ，也可以使用Spark自带的Standalone Deploy模式Spark处于活跃的开发过程中，代码...
分类：
其他好文 时间：
2015-09-08 18:11:27
阅读次数：
304
安装Dubbo，并利用zookeeper作为注册中心 环境准备: 了解dubbo相关信息http://dubbo.io/Home-zh.htm dubbo安装: ? ? ?Zookeeper下载 download zookeeper Install 伪分布式 ? ??1.解压下载好的zookeeper，到...
分类：
其他好文 时间：
2015-09-08 16:56:14
阅读次数：
477
（大讲台：国内首个it在线教育混合式自适应学习）1.Hadoop集群可以运行的3个模式单机（本地）模式伪分布式模式全分布式模式2.单机（本地）模式中的注意点？在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开...
分类：
其他好文 时间：
2015-09-08 12:24:12
阅读次数：
173
官网上的教程版本不符,还过于简单(很多必要的步骤没提到),
所以自行网上找教程.
在这里整理一下:
假设java_home已经配置完成,ssh也可连通
1.修改配置文件
以下文件均在 %HADOOP_HOME%/conf/ 下
core-site.xml: Hadoop Core的配置项，例如HDFS和MapReduce常用的I/O设置等。
hdfs-sit...
分类：
其他好文 时间：
2015-08-31 23:44:50
阅读次数：
269
ApacheHadoop是一款支持数据密集型分布式应用并以Apache2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行实作而成。Hadoop框架透明地为应用提供可靠性和数据移动。它实现了..
分类：
其他好文 时间：
2015-08-27 19:22:39
阅读次数：
197
hadoop的生态圈：ETL数据的抽娶转换、加载1)安装hive1.解压#tarzvxfhive-0.13.0.tar.gz-C/usr/local#cd/usr/local#ln-sv/usr/local/hive-0.12.0/usr/local/hive2.替换jar包，保持hbase0.98与hadoop1.2一致#cd/usr/hive/lib#rm-rfhbase-0.94*#find/usr/hbase/lib-name"hbase*.ja..
分类：
其他好文 时间：
2015-08-27 19:18:59
阅读次数：
415
安装JDK 1.7+
【下载网址】http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html环境变量设置（最好不要采用openjdk）：export JAVA_HOME=/usr/java/java-1.7.0_71
export JRE_HOME=$JAVA_HOME/jre
export...
分类：
其他好文 时间：
2015-08-26 22:42:31
阅读次数：
335
