Hadoop详解一：Hadoop简介

标签：

  从数据爆炸开始。。。

一、 第三次工业革命

二、 信息技术发展带来的数据爆炸

• 纽约证券所交易    每天 1TB
• FaceBook一千亿照片  1PB 
• 腾讯 每天 300TB
• 淘宝 每天 pv20亿 数据量 50TB
•  ......

 

三、 海量数据存储与分析

 

问题：数据量指数增加，磁盘访问速度未能与时俱进

• 1990 年 一个磁盘 1370MB 速度4.4MB/s 用时5分钟
• 2010 年 一个磁盘 1TB  速度 100MB/s 用时两个半

分析：读一个很慢，那么可以同时读多个

• 如果把1TB存储到100个磁盘，每个存储1%，并行读取，用时不到两分钟。
• 如果一个我们有100个1TB数据集，100个1TB磁盘，那么我们以磁盘共享的方式把每个数据集分布到100个磁盘中，这样边会大大提高每个数据集的读取速率。

如果实现此类文件系统需要解决哪些问题？

• 硬盘故障：因为文件系统有多个磁盘，那么任意一个磁盘发生故障的概率就变得很高。（采取数据备份）
• 数据分析：某些分析任务需要结合大部分数据共同完成，那么我们的文件系统就要保证对来自多个数据源的数据进行分析的准确性。     

四、 Hadoop-一个可靠的分布式共享存储和分析系统

 

4.1 简要介绍

 

　　Hadoop 是Apache基金会下一个开源的分布式计算平台，它以分布式文件系统HDFS和MapReduce算法为核心，为用户提供了系统底层细节透明的分布式基础架构。

 

    如上图Hadoop集群中有很多并行的机器来存储和分析数据，客户端把任务提交到集群，集群计算返回结果。

 

4.2 历史起源：Apache的子项目的子项目

 

     雄心勃勃的Doug Cutting：他先领导创立了Apache的项目Lucene，然后Lucene又衍生出子项目Nutch，Nutch又衍生了子项目Hadoop。 Lucene是一个功能全面的文本搜索和查询库，Nutch目标就是要视图以Lucene为核心建立一个完整的搜索引擎，并且能达到提到Google商业 搜索引擎的目标。网络搜索引擎和基本文档搜索区别就在规模上，Lucene目标是索引数百万文档，而Nutch应该能处理数十亿的网页。因此Nutch就 面临了一个极大的挑战，即在Nutch中建立一个层，来负责分布式处理、冗余、故障恢复及负载均衡等等一系列问题。。。

     曙光的到来：2004年，Google发表了两篇论文来论述Google文件系统（GFS）和MapReduce框架，并且使用了这两项技术来拓展自己 的搜索系统，于是Doug Cutting看到了这两篇论文的价值并带领他的团队便实现了这个框架，并将Nutch移植上去，于是Nutch的可扩展性得到极大的提高。

     Hadoop的诞生：Doug Cutting逐渐认识到急需要成立一个专门的项目来充实这两种技术，于是就诞生了Hadoop。

     2006年1月，雅虎雇佣Doug Cutting，并让他和一个专门的团队来一起改进Hadoop，并将其作为一个开源项目。

     2008年2月19日，雅虎正式宣布，其索引网页的生产系统采用的就是在10000多个核的Linux系统上运行的Hadoop。

     于是，Hadoop真正达到了互联网级。。。

     ps:关于Doug Cutting它三个项目的名字由来，这个人很有意思，三个项目的名字都来源于他家庭，Lucene是他妻子的中间名也是她外祖母的名字，他儿子在很小的 时候总是把吃饭的词叫做Nutch，后来，他又把一个黄色大象毛绒玩具叫做Hadoop，这样大家就明白了为何好多关于Hadoop的资料中都能看到个黄 色的大象。

     

优点：Hadoop是一个开源框架，可编写和运行分布式应用来处理大规模数据，分布式计算是一个不断变化且宽泛的领域，优点如下：

     1.易用性。Hadoop运行在由一般商用机器构成的大型集群上。

     2.可靠性。Hadoop致力于一般商用机器上，其架构假设硬件会频繁出现失效，它可以从容处理大多数此类故障。

     3.可扩展。Hadoop通过增加集群节点，可以线性地拓展以处理更大数据集。

     4.简单。Hadoop允许用户快速的编写出高效地并行代码。

 

4.3 了解分布式系统和Hadoop

 

     摩尔定律：当价格不变时，集成电路上可容纳的晶体管数目，约每隔18个月便会增加一倍，性能也将提升一倍，但解决大规模数据计算问题不能单纯依赖制造越来越大型的服务器。

     分布式系统（向外拓展scale-out）与大型服务器(向上拓展scale-up),从IO性价比层面分析：

     一个四IO通道的高端机，每个通道的吞吐量各为100MB/sec,读取4TB数据也要接近3小时，而用Hadoop，同样的数据被划分为较小的块（通 常为64MB），通过HDFS分不到群内的多台计算机上，集群可以并行存取数据，这样，一组通用的计算机比一台高端机要便宜。

     Hadoop与其它分布式系统比较，如SETI@home,它的一台中央服务器存储了来自太空的无线电信号，并把这些信号数据发给分布在世界各地的客户端计算，再将计算返回的结果存储起来。

     Hadoop对待数据的理念与其不同。SETI@home需要服务器和客户端重复地传输数据，这种方式在处理密集数据时，会使得数据迁移变得十分困难。 而Hadoop则强调把代码向数据迁移，即Hadoop集群中既包含数据又包含运算环境，并且尽可能让一段数据的计算发生在同一台机器上，代码比数据更加 容易移动，Hadoop的设计理念即是把要执行的计算代码移动到数据所在的机器上去。

 

4.4 比较Hadoop和SQL数据库

# mkdir /usr/hadoop
# cd /usr/hadoop/
# wget http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
# tar -xzf hadoop-1.2.1.tar.gz
# mv hadoop-1.2.1 hadoop
# cd /usr/hadoop/hadoop/ 

# bin/hadoop 

 编辑 core-site.xml

# vim conf/core-site.xml

#Add the following inside the configuration tag
<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000/</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

编辑 hdfs-site.xml

# vim conf/hdfs-site.xml

# Add the following inside the configuration tag
<property>
        <name>dfs.data.dir</name>
        <value>/opt/hadoop/hadoop/dfs/name/data</value>
        <final>true</final>
</property>
<property>
        <name>dfs.name.dir</name>
        <value>/opt/hadoop/hadoop/dfs/name</value>
        <final>true</final>
</property>
<property>
        <name>dfs.replication</name>
        <value>2</value>
</property>

编辑 mapred-site.xml

# vim conf/mapred-site.xml

# Add the following inside the configuration tag
<property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
</property>

编辑 hadoop-env.sh

# vim conf/hadoop-env.sh

export JAVA_HOME=/opt/jdk1.7.0_17
export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true

设置 JAVA_HOME path 

格式化 Name Node

$ cd /usr/hadoop/hadoop
$ bin/hadoop namenode -format 

Use the following command to start all hadoop services.

Hadoop详解一：Hadoop简介

标签：

原文地址：http://www.cnblogs.com/losbyday/p/5844110.html