大数据是指无法在一定时间范围内用常规软件工具进行处理和分析的数据集合,需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能的海量、高增长率和多样性的信息资产
分类:
其他好文 时间:
2020-10-08 18:36:53
阅读次数:
17
一、Hadoop概述 1、Hadoop名字是由Hadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名,Hadoop是Apache开源的分布式存储+分布式计算平台。Hadoop能搭建大型数据仓库、PB级数据的存储、处理、分析、统计等业务,如搜索引擎、日志分析、商业智能、数据挖掘 2、狭义Ha ...
分类:
其他好文 时间:
2019-12-16 19:22:48
阅读次数:
100
参考博客:做了五年大数据开发工程师总结的的大数据学习路线 大数据的4V特征: 常见的大数据的开源框架: 第一章:初识Hadoop 1.1 学会百度与Google 不论遇到什么问题,先试试搜索并自己解决。Google首选,翻不过去的,就用百度吧。 1.2 参考资料首选官方文档 特别是对于入门来说,官方 ...
分类:
其他好文 时间:
2019-07-21 18:02:21
阅读次数:
107
第1章 大数据概述本章将从故事说起,让大家明白大数据是与我们的生活息息相关的,并不是遥不可及的,还会介绍大数据的特性,以及大数据对我们带来的技术变革,大数据处理过程中涉及到的技术以及大数据典型应用。第2章 初识Hadoop本章节将带领大家认识Hadoop以及Hadoop生态系统、Hadoop的发展史 ...
分类:
其他好文 时间:
2019-06-28 01:04:10
阅读次数:
139
第1章 大数据概述本章将从故事说起,让大家明白大数据是与我们的生活息息相关的,并不是遥不可及的,还会介绍大数据的特性,以及大数据对我们带来的技术变革,大数据处理过程中涉及到的技术以及大数据典型应用。第2章 初识Hadoop本章节将带领大家认识Hadoop以及Hadoop生态系统、Hadoop的发展史 ...
分类:
其他好文 时间:
2019-03-10 09:33:09
阅读次数:
729
原文地址 https://blog.csdn.net/zhruixuan/article/details/85549618 Hadoop的核心是HDFS,YARN,MapReduce。今天先来认识一下MapReduce。 MapReduce是什么 MapReduce是Hadoop中的一种处理大规模数 ...
分类:
其他好文 时间:
2019-01-02 23:23:01
阅读次数:
186
Hadoop简介 官方网站: http://hadoop.apache.org/ 中文网站: http://hadoop.apache.org/docs/r1.0.4/cn/ Hadoop设计来源 根据Google的三大论文 GFS(Google File System): Google的分布式文件 ...
分类:
其他好文 时间:
2018-12-11 18:17:27
阅读次数:
220
Hadoop的mapreduce是一个快速、高效、简单用于编写的并运行处理大数据程序并应用在大数据集群上的编程框架。它将复杂的、运行于大规模集群上的并行计算过程高度的抽象到两个函数:map、reduce。适用于MP来处理的数据集(或者任务),需要满足一个基本的要求:待处理的数据集可以分解成许多小的数 ...
分类:
其他好文 时间:
2018-07-17 23:14:20
阅读次数:
133
什么是Hadoop? Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。用户可以利用Hadoop轻松的组织计算机资源,从而搭建自己的分布式计算平台,并且可以充分利用集群的计算和存储能力,完成海量数据的处理。 Hadoop具有高可靠性、高扩展性、高效性、高容错性的特点: 1, 高可靠性 ...
分类:
其他好文 时间:
2018-07-16 21:06:50
阅读次数:
197