Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等. ...
分类：
其他好文 时间：
2019-06-30 16:00:41
阅读次数：
116
Hadoop产生背景： 传统方式，我们使用数据库来对数据进行管理。可是随着数据量的增加，我们要对这个数据库中的海量数据进行处理， 从中提取出有效的信息，这时候面临的问题随之而来： 1.海量数据读取，采用多个硬件读取，如果硬件故障了怎么办？ 2. 1个磁盘读取的数据可能和另外99个磁盘读取的数据合并起 ...
分类：
其他好文 时间：
2019-03-17 10:18:15
阅读次数：
143
1.flume的基础介绍（1）常用的数据收集工具 -Chukwa（Apache） -Scribe（Facebook） -Fluentd：Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。 -Logstash（著名的开源数据栈ELK（ElasticSearch，Logstash，Kibana）中
分类：
Web程序 时间：
2019-01-17 14:09:05
阅读次数：
215
随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台： Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台与数据采集 任何完整的大数据平台，一般包括以下的几个过程： 数据采集 数据存储 数 ...
分类：
其他好文 时间：
2018-08-21 16:02:11
阅读次数：
225
Hadoop家族 整个Hadoop家族由以下几个子项目组成： Hadoop Common： Hadoop体系最底层的一个模块，为Hadoop各子项目提供各 种工具，如：配置文件和日志操作等。 HDFS： 是Hadoop应用程序中主要的分布式储存系统， HDFS集群包含了一个NameNode（主节点） ...
分类：
其他好文 时间：
2018-04-17 18:06:18
阅读次数：
207
Hadoop家族学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Ooz ...
分类：
其他好文 时间：
2018-04-16 20:37:04
阅读次数：
193
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, ...
分类：
其他好文 时间：
2018-02-23 10:44:33
阅读次数：
205
针对每天TB级的数据采集，一般而言，这些系统需要具有以下特征： 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦； 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统； 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。 从设计架构，负载均衡，可扩展性和容错性等方面对 ...
分类：
Web程序 时间：
2017-10-12 10:18:10
阅读次数：
305
Hadoop家族学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Ooz ...
分类：
其他好文 时间：
2017-08-09 12:53:05
阅读次数：
232
Hadoop家族学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Ooz ...
分类：
其他好文 时间：
2017-08-07 10:16:29
阅读次数：
165
