1、Hadoop生态概况Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点Hadoop的核心是YARN,HDFS,Mapreduce,常用模块架构如下2、HDFS源自谷歌的GFS论文，发表于2013年10月，HDFS是GFS的克隆版，HDFS是Hadoop体系中
分类：
其他好文 时间：
2018-12-29 18:37:56
阅读次数：
220
Hadoop与Google一样，都是小孩命名的，是一个虚构的名字，没有特别的含义。从计算机专业的角度看，Hadoop是一个分布式系统基础架构，由Apache基金会开发。Hadoop的主要目标是对分布式环境下的“大数据”以一种可靠、高效、可伸缩的方式处理。设想一个场景，假如您需要grep一个100TB的大数据文件，按照传统的方式，会花费很长时间，而这正是Hadoop所需要考虑的效率问题。 关于Ha
分类：
其他好文 时间：
2018-12-14 14:54:34
阅读次数：
161
1、Hadoop生态概况 Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点 Hadoop的核心是YARN,HDFS,Mapreduce,常用模块架构如下 ? 我 ...
分类：
其他好文 时间：
2018-12-07 14:44:49
阅读次数：
239
一、简介 hue是一个开源的apache hadoop ui系统，由cloudear desktop演化而来，最后cloudera公司将其贡献给了apache基金会的hadoop社区，它基于python框架django实现的。 通过使用hue，我们可以使用可视化的界面在web浏览器上与hadoop集 ...
分类：
其他好文 时间：
2018-11-28 22:26:58
阅读次数：
230
1.Hadoop版本 不收费的Hadoop版本主要有国外的四个，分别是Apache基金会hadoop、Cloudera版本（CDH）、Hortonworks版本（HDP）、MapR版本。对于国内而言，绝大多数选择CDH版本。 Apache社区版本：最原始的版本，所有发行版均基于这个版本进行改进 Cl ...
分类：
其他好文 时间：
2018-11-23 18:30:44
阅读次数：
193
一背景Spark是2010年由UCBerkeleyAMPLab开源的一款基于内存的分布式计算框架，2013年被Apache基金会接管，是当前大数据领域最为活跃的开源项目之一Spark在MapReduce计算框架的基础上，支持计算对象数据可以直接缓存到内存中，大大提高了整体计算效率。特别适合于数据挖掘与机器学习等需要反复迭代计算的场景。二特性高效：Spark提供Cache机制，支持需要反复迭代的计算
分类：
其他好文 时间：
2018-11-15 12:03:46
阅读次数：
205
Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。
分类：
其他好文 时间：
2018-11-10 23:51:39
阅读次数：
164
hadoop 一, Hadoop 分布式 简介Hadoop 是分布式的系统架构，是 Apache 基金会顶级金牌项目 分布式是什么？学会用大数据的思想来看待和解决问题 思 想很重要 1-1 、Hadoop 的思想之源：来自于 Google 03 年发布 3 大论文， GFS、MapReduce、Bi ...
分类：
其他好文 时间：
2018-11-01 13:34:15
阅读次数：
218
中间件负责接收/分发请求给相应的应用，让网站更层次化，也用于安全防控；更可用于负载均衡；支持海量并发。 中间件服务 代理服务 类似产品IIS GWS(google web server) httpd--apache基金会 io复用：解决并发问题，中间件 cpu亲和，绑定 sendfile工作机制使得 ...
分类：
其他好文 时间：
2018-10-23 01:12:10
阅读次数：
175
前言 大家好，今天给大家介绍一下如何在 ASP.NET Core 项目中集成 Skywalking，Skywalking 是 Apache 基金会下面的一个开源 APM 项目，有些同学可能会 APM 是干什么用的还不是太了解，那么下面我就简单的来说一下。 APM 全称是 （Application P ...
分类：
Web程序 时间：
2018-10-15 12:17:37
阅读次数：
300
