如果你看了我的上一篇文章，那此时你对hadoop已经有了一个大概的了解，那接下来这篇文章就教大家怎么安装hadoop环境，只要你用心，仔细的跟着文章中讲到的做，肯定能正确安装。第三章安装hadoop环境由于大家在学习hadoop时候，主要以Hadoop1.0环境为主学习就可以，所以这主要介..
分类：
其他好文 时间：
2017-03-06 22:38:32
阅读次数：
330
Spark_总结四 1.Spark SQL Spark SQL 和 Hive on Spark 两者的区别？<!--more--> spark on hive：hive只是作为元数据存储的角色，解析，优化，执行都是spark做的 hive on spark： hive既作为存储的角色，又作为计算角色 ...
分类：
其他好文 时间：
2017-03-05 17:30:42
阅读次数：
313
安装完全分布式Hadoop1安装准备工作本安装示例将使用三台主机(RHEL5.832bit)来实现，其规划如下所示： IP地址 主机名 运行的进程或扮演的角色172.16.100.11 master.magedu.com NameNode,JobTracker172.16.100.12 datanode.magedu.com DataNode,TaskTracker172.16.100.13..
分类：
其他好文 时间：
2017-02-20 23:17:01
阅读次数：
231
2016年12月14日21:37:29
Author：张明阳
博文链接：http://blog.csdn.net/a2011480169/article/details/53647012近来这几天...
分类：
其他好文 时间：
2016-12-15 21:18:22
阅读次数：
231
1.自己设计一个并行计算框架，应该需要考虑那些问题呢？第一个问题是：并行计算肯定是多台计算机吗，多台计算机他们之间如何划分任务？这个地方总归有一个模块来分发任务，也就意味这它就是老大，它来维护任务或者资源mapreduce在hadoop1.x版本上是jobtracker,hadoop2.x版本是..
分类：
其他好文 时间：
2016-11-15 01:53:39
阅读次数：
120
hdfs（hadoop分布式系统）设计需要考虑的问题？第一个就是数据是如何存储吗（数据的物理存储）每台机器上都有个datanode节点。这个节点是用来存储数据的。hdfs对一个大的文件进行分块，每个版本对每一个分块大小可能不尽相同。Hadoop1版本默认是64M，假设80M东西，就被分成64M..
分类：
其他好文 时间：
2016-11-14 16:13:15
阅读次数：
126
一、第一代hadoop组成与结构第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成，对应Hadoop版本为Hadoop1.x和0.21.X，0.22.x。1、MapReduce角色分配 Client：作..
分类：
其他好文 时间：
2016-11-07 20:19:08
阅读次数：
230
在虚拟机系统安装目录下。复制一份，如：D:\soft\Virtual Machines4，下点击 hadoop1.vmx （hadoop1此名是第一台安装的系统主机名）进入界面如： 2、修改，如图： 3、开机（会有提示，点击已经移动），启动网卡并 4、进入vi /etc/sysconfig/netw ...
分类：
其他好文 时间：
2016-11-04 13:27:59
阅读次数：
314
核心内容:
1、Hadoop1.1.2伪分布(或集群)搭建核心配置文件
2、Hadoop2.4.1伪分布(或集群无HA)搭建核心配置文件
3、Hadoop2.4.1 + HA 集群搭建核心配置文...
分类：
其他好文 时间：
2016-10-31 16:42:19
阅读次数：
228
Hadoop2相比较于自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍，对Hadoop这个神奇的小象有了一个初步的了解，还对每次学习的内容进行了总结，也形成了我的一个博文系列《Hadoop学习笔记系列》。其实，早在2014年Hadoop2.x版本就已经开始流行了起来，并且已经成... ...
分类：
其他好文 时间：
2016-10-22 17:52:04
阅读次数：
559
