标签：
原来：计算效率低
现在：成本降低，能用PC机，就不用大型机和高端存储了；软件容错硬件故障视为常态，通过软件保证可靠性；简化并行分布式计算，无需控制节点同步和数据交换，但是谷歌只发表了相关技术论文，没有开源实现，hadoop是模仿谷歌大数据技术的开源实现来了。
谷歌大数据技术：MapReduce、BigTable、GFS
目前hadoop是属于apache，他是开源的，分布式存储和分布式计算的平台。
核心组成：
HDFS，分布式文件系统，存储海量数据；
MapReduce，并行处理框架，实现任务分解和调度。
用来做什么？
搭建大型仓库，PB级数据存储、处理、分析、统计；搜索引擎，商业智能，日志分析，数据挖掘
性能优势：1。通过增加一些硬件，高扩展，提高性能；2.低成本；3.成熟的生态圈
应用：百度、淘宝、华为、新浪、京东、网易、腾讯、小米
人才：开发人才和运维人才
生态圈（小工具）：HDFS、
MapReduce、
Hive（小蜜蜂，代表着一种牵引，不用写复杂的hadoop任务，只需要写个简单的sql语句，hive就会把sql语句转化成hadoop任务去执行，降低了使用hadoop的门槛）、
HBase：与传统的关系型数据库不同，放弃事物的特性，追求更高的扩展；与HDFS的不同，hbase提供对数据的随机读写和实时访问，实现对表数据的读写功能、
zookeeper：动物管理员，监控hadoop集群中每个节点的状态，配置，维护节点之间数据的一次性
版本选择：1.x与2.x差别挺大，但1.x比较稳定，易学，好上手
获取linux操作系统：
租用云主机:阿里云、UnitedStack等。 申请云主机、公网IP，将云主机与公网IP绑定。使用云主机非常方便，可以不用像虚拟机那样得受本地计算机性能的影响。hadoop需要在linux操作环境下运行的。
javac是啥？ 安装JDK
是java编程的编译器，把.java 翻译成 .class 文件 因为hadoop是java写的，所以需要javac编译器。
Linux配置环境变量 vim /etc/profile .bashrc .bash_profile 。获得编译器之后需要在系统中配置环境变量
export CLASS_PATH=./:$JAVA_HOME/lib
export JAVA_OPTIONS=-Djava.security.egd=file:/dev/./urandom
export PATH=$JAVA_HOME/bin:$PATH
export:设置或显示环境变量。（比如我们要用一个命令，但这个命令的执行文件不在当前目录，这样我们每次用的时候必须指定执行文件的目录，麻烦，在代码中先执行export，这个相当于告诉程序，执行某某东西时，需要的文件或什么东东在这些目录里）.
source /etc/profile 在当前bash环境下读取并执行FileName中的命令。意思是让这个文件生效。计算机很笨的，得我一点一点指挥告诉他下一步要做什么，创建文件，环境变量路径需要我告诉它，编辑修改文件，执行。。。每一步
apt -get install <pacakge> 这个是linux软件管理包的工具
wget 网址路径 就可以自动下载
wget是一个下载文件的工具，它用在命令行下。对于Linux用户是必不可少的工具，我们经常要下载一些软件或从远程服务器恢复备份到本地服务器。wget支持HTTP，HTTPS和FTP协议，可以使用HTTP代理。所谓的自动下载是指，wget可以在用户退出系统的之后在后台执行。这意味这你可以登录系统，启动一个wget下载任务，然后退出系统，wget将在后台执行直到任务完成，相对于其它大部分浏览器在下载大量数据时需要用户一直的参与，这省去了极大的麻烦。
HDFS
HDFS的文件被分成块进行存储，默认大小是64M,块是文件存储处理的逻辑单元。一共有两个节点，namenode与datanode
NameNode节点：是管理节点，存放文件元数据。文件与数据块的映射表；数据块与数据节点的映射表
DataNode节点：是工作节点，存放数据块的。由于廉价机器，每个节点都有可能会出错，所以通过创建副本（备份），保证数据不会丢失，实现容错性
datanode 定期向 namenode汇报他的状态：网络有没有断，关机？宕机？整个状态会以一个心跳协议发送给namenode
如果namenode发生故障，整个这里边的原数据都会丢失，为了保证不丢失，做了个备份，原数据会定期同步到secondnamenode中去，大部分情况下，只要namenode不出毛病，secondnamenode只会做个备份，他不接收请求。但是，一旦namenode发生故障了，secondnamenode便会替换namenode，变成主的namenode。就跟替补队员似的，一场球赛中，替补队员也要在旁边看着比赛，一旦正式的出问题了，立马冲上去。
客户端（java程序/命令行）把文件名，路径告诉namenode，namenode查询原数据，把原数据返回给客户端，客户端就知道文件包含在那些块中，以及这些块分别可以在哪些datanode中找得到，客户端就会找到他们，读取他们，把他们下载下来，再进行组装。it‘s over
标签：
原文地址：http://www.cnblogs.com/Angelinas/p/5749258.html
