很多初学者在刚刚接触大数据的时候会有很多疑惑，比如对MapReduce、Storm、Spark三个计算框架的理解经常会产生混乱。 哪一个适合对大量数据进行处理？哪一个又适合对实时的流数据进行处理？又该如何来区分他们呢？ 我对比整理了这3个计算框架的基本知识，大家可以了解一下以便对这个3个计算框架有一 ...
分类：
其他好文 时间：
2018-10-09 12:44:53
阅读次数：
186
第1章 课程导学介绍课程相关背景，学习建议等等1-1 01-导学_1-2 -OOTB环境使用演示1-3 -授课习惯与学习建议 第2章 初识实时流处理StormStorm作为近几年Hadoop生态圈很火爆的大数据实时流处理框架，是成为大数据研发工程师必备的技能之一。 本章将从如下几个方面让大家对于St ...
分类：
编程语言 时间：
2018-10-05 10:42:07
阅读次数：
443
Issues: customer report that real time will interrupted frequently as below: Root Cause: some storm workers execute full gc with too many time and cau ...
分类：
其他好文 时间：
2018-09-30 16:40:12
阅读次数：
425
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。 与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。 首先，Spark为我们提供 ...
分类：
其他好文 时间：
2018-09-28 17:34:32
阅读次数：
164
人工智能区块链大数据云计算深度学习区块链底层开发HadoopDocker机器学习区块链算法原理SparkOpenStack自然语言处理DAPP只能合约开发Storm虚拟化图像识别处理EOS智能合约Hive云平台语音识别超级账本YarnOffice365机器视觉区块链投资数据分析云服务推荐算法数据挖掘自动驾驶量化交易机器人后端开发前端开发移动开发游戏开发PythonHTML/CSSHTML5Unit
分类：
其他好文 时间：
2018-09-28 11:06:10
阅读次数：
187
今天编写一个storm的topology，bolt的逻辑跟之前的类似。 为了减少重复代码，我建了个抽象基类，存放bolt的公共逻辑，设计了几个abstract方法，不同的逻辑部分由子类实现。 基类日志定义如下： Logger是项目封装的，用于ELK的对象，考虑到子类可能用到，我把它的static去掉 ...
分类：
编程语言 时间：
2018-09-27 01:54:47
阅读次数：
205
由于工作需要，需要搭建hadoop+zookeeper+hbase+storm+kafka集群准备了三台服务器（一台8核+32G内存+300G硬盘充当master，一台8核+16G内存+300G硬盘充当slave01，一台8+16G+500G硬盘充当slave02，并且都能上网），具体如下：Master根据情况定义Hadoop、zookeeper、hbase、storm、kafka、Slave01
分类：
其他好文 时间：
2018-09-12 15:06:17
阅读次数：
147
MongoDB是大数据技术中常用的NoSql型数据库，它提供的大量的查询、聚合等操作函数，对于大量查询的日志系统来说，该MongoDB是大数据日志存储的福音。Storm的高级编程技术Trident，也提供了与Mongo集成的方法，但官方只提供了新增的处理，对于常用的修改操作并未提供接口，本文提供了一 ...
分类：
数据库 时间：
2018-09-10 17:58:24
阅读次数：
201
首先编写一个打印函数KafkaPrintFunction 然后编写trident整合kafka的topology 另一个Java项目发送kafka数据 最后运行storm项目以及java项目（需要先运行java项目往kafka发数据，建立此topic，storm才能消费这个topic） 观察结果，s ...
分类：
其他好文 时间：
2018-09-10 13:30:09
阅读次数：
320
先做一个对比： 对比点 Storm Spark Streaming 实时计算模型 纯实时，来一条数据，处理一条数据 准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理 实时计算延迟度 毫秒级 秒级 吞吐量 低 高 事务机制 支持完善 支持，但不够完善 健壮性 / 容错性 ZooKeeper ...
分类：
其他好文 时间：
2018-09-10 11:02:27
阅读次数：
539
