摘要:Hadoop是一个由Apache基金会所开发的分布式基础架构,Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算,特点是:高可靠性,高扩展性,高效性,高容错性。l ...
分类:
其他好文 时间:
2020-02-13 10:12:16
阅读次数:
64
一:Hadoop基本概念 一个分布式系统基础架构,由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。 充分利用集群的威力进行高速运算和存储。 Hadoop的框架最核心的设计就是:HDFS和MapReduce 二:Hadoop解决问题 1.海量数据的存储(HDFS) ...
分类:
其他好文 时间:
2020-02-12 13:07:41
阅读次数:
128
第一章 Hue的安装 === 1、Hue的介绍 === HUE= Hadoop User Experience ? Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Py ...
分类:
其他好文 时间:
2020-02-11 09:56:19
阅读次数:
70
1、Hadoop概念 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high ...
分类:
其他好文 时间:
2020-02-10 09:50:14
阅读次数:
58
Hadoop是什么? 1. Hadoop是由Apache基金会所开发的分布式系统基础架构 2. 主要解决,海量数据的存储和海量数据的分析计算问题 3. 广义上来说,Hadoop通常是指一个更广泛的概念— Hadoop生态圈 Hadoop发展历史 1. Lucene框架是Doug Cutting开创的 ...
分类:
其他好文 时间:
2020-02-07 01:25:12
阅读次数:
79
1、Kafka简介 Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,用作LinkedIn的活动流(activity stream)和运营数据处理管道(pipeline)的基础。之后贡献给Apache基金会成为Apache的一个顶级项目。Kafka是一种快速、可扩 ...
分类:
其他好文 时间:
2020-02-04 14:02:15
阅读次数:
58
maven私服搭建 搭建私服的工具选择 Apache基金会的archiva http://archiva.apache.org/ JFrog的Artifactory https://jfrog.com/artifactory/ Sonatype的Nexus https://my.sonatype.c ...
分类:
其他好文 时间:
2020-01-24 00:06:04
阅读次数:
168
Pulsar简介 Apache Pulsar是一个企业级的分布式消息系统,最初由Yahoo开发并在2016年开源,目前正在Apache基金会下孵化。Plusar已经在Yahoo的生产环境使用了三年多,主要服务于Mail、Finance、Sports、 Flickr、 the Gemini Ads p ...
分类:
Web程序 时间:
2020-01-16 18:59:56
阅读次数:
101
HBase简介对大数据领域有一定了解的小伙伴对HBase应该不会陌生,HBase是Apache基金会开源的一个分布式非关系型数据库,属于Hadoop的组件。它使用Java编写,需运行于HDFS文件系统之上。HBase与Hadoop中的其他组件一样,可以运行在廉价硬件上,并可提供数10亿行X数百万列的大数据存储、管理能力,以及随机访问和实时读/写能力。HBase的设计模型参考了Google的Bigt
分类:
其他好文 时间:
2020-01-09 01:19:12
阅读次数:
108
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的... ...
分类:
其他好文 时间:
2020-01-09 00:58:47
阅读次数:
95