根据IBM的统计报告显示,过去两年内,当今世界上90%的数据产生源于新设备、传感器以及技术的出现,数据增长率也会为此加速。而从技术上将,这意味着大数据领域,处理这些数据将变得更加复杂和具有挑战性。例如移动应用广告、欺诈检测、出租车预订、患者监控等场景处理时,需要对实时数据进行实时处理,以便做出快速可行的决策。目前业界有开源不少实时计算引擎,以Apache基金会的两款开源实时计算引擎最受欢迎,它们分
分类:
其他好文 时间:
2020-06-20 09:12:52
阅读次数:
230
简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(highthroughput
分类:
其他好文 时间:
2020-06-06 23:16:21
阅读次数:
84
Kafka是什么 Kafka最初是由LinkedIn公司采用Scala语言开发的一个分布式、多分区、多副本且基于ZooKeeper协调的内部基础设置,现已捐献给Apache基金会。Kafka是一个流平台,主要用来发布和订阅数据流,是流式数据处理的利器。Kafka用于构建实时数据管道和流应用程序,具有 ...
分类:
其他好文 时间:
2020-05-18 20:50:54
阅读次数:
67
Java常用日志框架历史1996年早期,欧洲安全电子市场项目组决定编写它自己的程序跟踪API(TracingAPI)。经过不断的完善,这个API终于成为一个十分受欢迎的Java日志软件包,即Log4j。后来Log4j成为Apache基金会项目中的一员。期间Log4j近乎成了Java社区的日志标准。据说Apache基金会还曾经建议Sun引入Log4j到java的标准库中,但Sun拒绝了。2002年J
分类:
其他好文 时间:
2020-05-11 15:27:01
阅读次数:
59
Hadoop概述: Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。H ...
分类:
其他好文 时间:
2020-05-09 23:07:57
阅读次数:
222
1、Nginx是什么: Nginx是一个开源且高性能、可靠的HTTP中间件、代理服务。 2、常见的HTTP服务: HTTPD(Apache基金会);IIS(微软);GWS(Google),目前Nginx市场占有率越来越大。 3、Nginx优势:IO多路复用;轻量级;CPU亲和;sendfile工作机 ...
分类:
其他好文 时间:
2020-05-01 13:03:47
阅读次数:
64
TrafficServer 是Apache基金会的 HTTP/HTTP2 代理服务器。 TrafficServer 的 HTTP2 部分主要的代码在 : 1. trafficserver/proxy/http2/HTTP2.h, HTTP2.cc 1. trafficserver/proxy/htt ...
分类:
Web程序 时间:
2020-04-30 19:29:23
阅读次数:
83
RocketMQ入门手册 RocketMQ是一个分布式、队列模型的开源消息中间件,前身是MetaQ,是阿里研发的一个队列模型的消息中间件,后开源给apache基金会成为了apache的顶级开源项目,具有高性能、高可靠、高实时、分布式特点, 同时,广泛应用于多个领域,包括异步通信解耦、企业解决方案、金 ...
分类:
其他好文 时间:
2020-04-25 10:49:24
阅读次数:
76
DS是什么ApacheDolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。DolphinScheduler曾用名为“EasyScheduler”,由易观开发,美国时间2019年8月29日,正式通过顶级开源组织Apache基金会的投票决议,以全票通过的优秀表现正式成为Apache
分类:
其他好文 时间:
2020-03-06 11:18:32
阅读次数:
202
Spark 是基于内存的计算, 低延迟. Apache 基金会3大分布式系统开源项目 Hadoop, Spark, Storm (数据流) Spark 特点: 处理快, 容易使用(Java,Python,Scala,R). 通用性(包括SQL,机器学习, 流失计算), 运行模式多样 Spark生态系 ...
分类:
其他好文 时间:
2020-02-29 17:28:30
阅读次数:
94