标签：场景 提取 任务 web chukwa ase 失败 hba ado
Hadoop产生背景：
传统方式，我们使用数据库来对数据进行管理。可是随着数据量的增加，我们要对这个数据库中的海量数据进行处理，
从中提取出有效的信息，这时候面临的问题随之而来：
1.海量数据读取，采用多个硬件读取，如果硬件故障了怎么办？
2. 1个磁盘读取的数据可能和另外99个磁盘读取的数据合并起来才能使用，如何保证这个不同数据组合的正确性?
这便是Hadoop要解决的问题。Hadoop使用了HDFS分布式文件系统，计算架构Map reduce以及结构化数据处理的Hbase。基于zooKeeper,
pig,hive等，打造的一个海量数据提取分析的 解决方案。
Hadoop与数据库的区别：
1.为什么不使用数据库而是Hadoop？ 因为磁盘IO，寻址空间慢于传输速率。如果继续采用数据库方式，数据访问模式受限于磁盘寻址。
而我们知道，磁盘寻址的速度是远远慢于数据传输的速率。
2.Map reduce适用于对整个数据集分析，数据大小PB级别，访问为批处理，更新为一次写入多次读取。
数据库适用于更新和查询。数据大小GB，访问为批处理，更新为多次读写。
mapReduce具体场景举例：
web服务器日志：客户端的主机名带有全名出现，每次都会出现很多次。 mapreduce适用于分析各种日志文件。
MapReduce还解决了某个进程失败时，可以将任务安排到其他机器上。
Hadoop划分层级：
Core
Avro
mapreduce
HDFS
Pig
Hbase
Zookeeper
chukwa
标签：场景 提取 任务 web chukwa ase 失败 hba ado
原文地址：https://www.cnblogs.com/patatoforsyj/p/10545697.html
