hadoop体系结构杂谈 今天跟一个朋友在讨论hadoop体系架构，从当下流行的Hadoop+HDFS+MapReduce+Hbase+Pig+Hive+Spark+Storm开始一直讲到HDFS的底层实现，MapReduce的模型计算，到一个云盘如何实现，再到Google分布式史上那最伟大的三篇文 ...
分类：
其他好文 时间：
2018-01-23 01:04:50
阅读次数：
219
本文首先简单介绍了HBase,然后重点讲述了HBase的高并发和实时处理数据 、HBase数据模型、HBase物理存储、HBase系统架构，HBase调优、HBase Shell访问等。 不过在此之前，你可以先了解 Hadoop生态系统 ，若想运行HBase，则需要先搭建好Hadoop集群环境，可以 ...
分类：
其他好文 时间：
2018-01-18 20:41:23
阅读次数：
205
为什么需要 Stream Stream 作为 Java 8 的一大亮点，它与 java.io 包里的 InputStream 和 OutputStream 是完全不同的概念。它也不同于 StAX 对 XML 解析的 Stream，也不是 Amazon Kinesis 对大数据实时处理的 Stream ...
分类：
其他好文 时间：
2018-01-16 18:08:06
阅读次数：
586
1. 说明 在企业应用系统领域，会面对不同系统之间的通信、集成与整合，尤其当面临异构系统时，这种分布式的调用与通信变得越发重要。其次，系统中一般会有很多对实时性要求不高的但是执行起来比较较耗时的地方，比如发送短信，邮件提醒，更新文章阅读计数，记录用户操作日志等等，如果实时处理的话，在用户访问量比较大 ...
分类：
其他好文 时间：
2018-01-14 22:45:04
阅读次数：
305
1：Storm作为一个实时处理的框架，产生的消息需要快速的进行处理，比如存在消息队列ZeroMQ里面。 由于消息队列ZeroMQ是C++写的，而我们的程序是运行在JVM虚拟机里面的。所以需要jzmq这个桥梁来黏合C++程序接口和Java程序接口。 ZeroMQ的官方网址：http://zeromq. ...
分类：
其他好文 时间：
2018-01-13 22:20:47
阅读次数：
250
ELK简介 ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称，由这三个软件及其相关的组件可以打造大规模日志实时处理系统。 其中，Elasticsearch 是一个基于 Lucene 的、支持全文索引的分布式存储和索引引擎，主要负责将日志索引并存储起来，方便 ...
分类：
其他好文 时间：
2017-12-23 16:00:32
阅读次数：
203
内容简介 《Spark大数据处理：技术、应用与性能优化》根据最新技术版本，系统、全面、详细讲解Spark的各项功能使用、原理机制、技术细节、应用方法、性能优化，以及BDAS生态系统的相关技术。 作为一个基于内存计算的大数据并行计算框架，Spark不仅很好地解决了数据的实时处理问题，而且保证了高容错性... ...
分类：
其他好文 时间：
2017-12-03 12:59:28
阅读次数：
267
课程大纲:需求分析1、项目背景2、总体业务要求3、难点分析 数据收集1、数据采集阶段技术对比2、项目中数据采集技术Kafka3、Kafka安装及基本操作4、Kafka的API操作及项目中应用 数据流处理1、数据实时处理阶段技术拓展Storm2、Spark Streaming实用项目解决方案3、Spa ...
分类：
其他好文 时间：
2017-12-01 18:39:32
阅读次数：
459
https://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/index.html Kafka 与 Flume 很多功能确实是重复的。以下是评估两个系统的一些建议： Kafka 是一个通用型系统。你可以有许多的生产者和消费者分享多个主题。相 ...
分类：
Web程序 时间：
2017-10-26 18:10:54
阅读次数：
152
为什么要使用StreamStream 作为 Java 8 的一大亮点，它与 java.io 包里的 InputStream 和 OutputStream 是完全不同的概念。它也不同于 StAX 对 XML 解析的 Stream，也不是 Amazon Kinesis 对大数据实时处理的 Stream。... ...
分类：
编程语言 时间：
2017-10-13 16:14:19
阅读次数：
228
