现在已经名满天下的 Apache Kylin,是 Hadoop 大数据生态系统不可或缺的一部分,要知道在 Kylin 项目早期,可是以华人为主的开源团队,一路披荆斩棘经过几年的奋斗,才在 Apache 基金会牢牢的巩固了自己的位置。作为本土第一个进入到世界顶级基金会的项目,Kylin 的经验是值得大 ...
分类:
其他好文 时间:
2018-07-07 12:31:45
阅读次数:
224
一、Hadoop概述: Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS分布式文件系统为海量的数据提供了存储,则M ...
分类:
其他好文 时间:
2018-06-30 13:00:36
阅读次数:
1134
导读:Storm是一个分布式计算框架,主要使用Clojure与Java语言编写,最初是由NathanMarz带领Backtype公司团队创建,在Backtype公司被Twitter公司收购后进行开源。最初的版本是在2011年9月17日发行,版本号0.5.0。2013年9月,Apache基金会开始接管并孵化Storm项目。ApacheStorm是在EclipsePublicLicense下进行开发的
分类:
其他好文 时间:
2018-06-28 22:52:25
阅读次数:
219
Mybatis官网:http://www.mybatis.org/mybatis-3/ Mybatis官网:http://www.mybatis.org/mybatis-3/ Mybatis的介绍 Mybatis是一个操作数据库的框架。最开始叫做ibatis,从apache基金会脱离,加入googl ...
分类:
其他好文 时间:
2018-06-24 20:57:02
阅读次数:
190
Apache Beam(原名Google DataFlow)是Google在2016年2月份贡献给Apache基金会的Apache孵化项目,被认为是继MapReduce,GFS和BigQuery等之后,Google在大数据处理领域对开源社区的又一个非常大的贡献。Apache Beam的主要目标是统一 ...
分类:
Web程序 时间:
2018-06-13 01:04:39
阅读次数:
265
前言 Hadoop是什么? 用百科上的话说:“Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。” 可能有些抽象,这个问题可以在一步步学习Hadoop的各种知识以后再回过头来重新看待。 Ha ...
分类:
其他好文 时间:
2018-05-17 15:59:49
阅读次数:
152
一、简介 hue是一个开源的apache hadoop ui系统,由cloudear desktop演化而来,最后cloudera公司将其贡献给了apache基金会的hadoop社区,它基于python框架django实现的。 通过使用hue,我们可以使用可视化的界面在web浏览器上与hadoop集 ...
分类:
其他好文 时间:
2018-05-12 15:06:10
阅读次数:
418
Hadoop 系列(一)基本概念 一、Hadoop 简介 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构,它可以使用户在不了解分布式底层细节的情況下开发分布式程序,充分利用集群的威力进行高速运算和存储。 从其定义就可以发现,它解決了两大问题:大数据存储、大数据分析。也就是 H ...
分类:
其他好文 时间:
2018-05-12 13:15:11
阅读次数:
183
ApacheHadoop是一个由Apache基金会所开发的分布式系统基础架构。可以让用户在不了解分布式底层细节的情况下,开发出可靠、可扩展的分布式计算应用。ApacheHadoop框架,允许用户使用简单的编程模型来实现计算机集群的大型数据集的分布式处理。它的目的是支持从单一服务器到上千台机器的扩展,充分利用了每台机器所提供本地计算和存储,而不是依靠硬件来提供高可用性。其本身被设计成在应用层检测和处
分类:
Web程序 时间:
2018-05-10 15:33:42
阅读次数:
176
一、简介 1.1 概述 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级 ...
分类:
其他好文 时间:
2018-05-07 21:01:11
阅读次数:
192