大数据技术原理与应用：【第二讲】大数据处理架构Hadoop

标签：pre   结构   oop   海量数据   文本搜索   处理   项目结构   ado   操作   

2.1 Hadoop概论

创始人：Doug Cutting

1.简介：

开源免费;

操作简单，极大降低使用的复杂性;

Hadoop是Java开发的;

在Hadoop上开发应用支持多种编程语言、不限于Java；

Hadoop两大核心：HDFS+MapReduce

HDFS：海量数据存储

MapReduce：海量数据的处理

2.起源：

原本是文本搜索库，模仿谷歌的搜索引擎；

融入了谷歌相关技术：分布式文件系统GFS；分布式并行编程框架MapReduce；

3.成名史：数据排序 的傲人成绩

4.特性：

1.高可靠性

2.高效性

3高可扩展性

4.高容错性

5.低成本

6.运行在Linux平台上

7.支持多种编程语言

5.应用现状：

例如：Facebook

2.2 Hadoop项目结构

大数据技术原理与应用：【第二讲】大数据处理架构Hadoop

标签：pre   结构   oop   海量数据   文本搜索   处理   项目结构   ado   操作   

原文地址：https://www.cnblogs.com/musecho/p/10991177.html