第1章 课程导学介绍课程相关背景,学习建议等等第2章 初识实时流处理StormStorm作为近几年Hadoop生态圈很火爆的大数据实时流处理框架,是成为大数据研发工程师必备的技能之一。 本章将从如下几个方面让大家对于Storm有宏观上的认识:什么是Storm、Storm的发展史、Storm对比Had ...
分类:
其他好文 时间:
2019-01-20 00:11:20
阅读次数:
267
迄今,相信大家肯定听说过 HBase,但是对于 HBase 的了解可能仅仅是它是 Hadoop 生态圈重要的一员,是一个大数据相关的数据库技术。 今天我带你们一起领略一下 HBase 体系架构,看看它是如何大规模处理海量数据。 一、什么是 HBase? 关于 HBase 的实现,是基本遵循 Bigt ...
分类:
其他好文 时间:
2019-01-19 21:07:14
阅读次数:
186
一、概述 在hadoop生态圈里,hbase可谓是鼎鼎大名。江湖传言,hbase可以实现数十亿行X数百万列的实时查询,可横向扩展存储空间。如果传言为真,那得好好了解了解hbase。本文从概念上介绍hbase,稍微有点抽象,但这是学习hbase必须要了解的基础理论;如果想直接了解hbase的实操内容, ...
分类:
其他好文 时间:
2018-12-09 22:39:40
阅读次数:
240
1.HadoopCommon是Hadoop体系最底层的一个模块,为Hadoop各个子模块提供各种工具,比如系统配置工具Configuration、远程调用RPC、序列化机制和日志操作等等,是其他模块的基础。2.HDFS是Hadoop分布式文件系统缩写,它是Hadoop的基石。HDFS是一个具备高度容错性的文件系统,适合部署在廉价的机器上,它能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。3
分类:
其他好文 时间:
2018-11-30 20:09:21
阅读次数:
354
欢迎访问网易云社区,了解更多网易技术产品运营经验。 背景 Cloudera在2016年发布了新型的分布式存储系统——kudu,kudu目前也是apache下面的开源项目。Hadoop生态圈中的技术繁多,HDFS作为底层数据存储的地位一直很牢固。而HBase作为Google BigTable的开源产品 ...
分类:
其他好文 时间:
2018-11-21 16:20:20
阅读次数:
203
大数据中我们常见的组件之一就是hdfs了。hdfs又是hadoop生态圈中必不可少的一个框架,所以我们进入Hadoop就必须要对它有一定的了解。 首先我们都知道hdfs是hadoop生态圈中的分布式文件系统,他存储了我们大数据中的海量数据, 正是因为谷歌的论文的发布,我们才会有了hdfs的产生,伴随 ...
分类:
其他好文 时间:
2018-11-02 20:20:58
阅读次数:
188
学习大数据首先要了解大数据的学习路线,首先搞清楚先学什么,再学什么,大的学习框架知道了,剩下的就是一步一个脚印踏踏实实从最基础的开始学起。这里给大家普及一下学习路线:hadoop生态圈——Strom——Spark——算法。所以学习hadoop是第一步,在这里声明一下,在学习hadoop之前需要有ja ...
分类:
其他好文 时间:
2018-10-18 13:58:56
阅读次数:
114
第1章 课程导学介绍课程相关背景,学习建议等等1-1 01-导学_1-2 -OOTB环境使用演示1-3 -授课习惯与学习建议 第2章 初识实时流处理StormStorm作为近几年Hadoop生态圈很火爆的大数据实时流处理框架,是成为大数据研发工程师必备的技能之一。 本章将从如下几个方面让大家对于St ...
分类:
编程语言 时间:
2018-10-05 10:42:07
阅读次数:
443
本文来自网易云社区 作者:闽涛 背景 Cloudera在2016年发布了新型的分布式存储系统——kudu,kudu目前也是apache下面的开源项目。Hadoop生态圈中的技术繁多,HDFS作为底层数据存储的地位一直很牢固。而HBase作为Google BigTable的开源产品,一直也是Hadoo ...
分类:
其他好文 时间:
2018-09-14 13:55:54
阅读次数:
155
本文来自网易云社区 作者:闽涛 背景 Cloudera在2016年发布了新型的分布式存储系统——kudu,kudu目前也是apache下面的开源项目。Hadoop生态圈中的技术繁多,HDFS作为底层数据存储的地位一直很牢固。而HBase作为Google BigTable的开源产品,一直也是Hadoo ...
分类:
其他好文 时间:
2018-09-14 13:53:55
阅读次数:
150