安装Storm之前，需要先安装好Java与ZooKeeper，Java与ZooKeeper的安装此处不做过多讲解，Storm的安装步骤如下： 1.下载Storm 要在您的计算机上安装Storm框架，请访问以下链接并下载最新版本的Storm http://storm.apache.org/downlo ...
分类：
其他好文 时间：
2019-08-22 10:55:26
阅读次数：
97
1. 新建一个Maven项目,pom.xml代码如下: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocatio ...
分类：
其他好文 时间：
2019-08-22 10:51:51
阅读次数：
79
大数据追求相关性，不追求因果性。 一、Spark目的 map reuce:先写入磁盘，再从网络读取磁盘数据，mapreduce只适合处理对速度不敏感的离线批量处理。 spark：在一个物理节点，用内存完成各种各样的计算。（有时也用磁盘） storm：流式，纯粹实时计算框架，吞吐量不高，每条数据过来直 ...
分类：
其他好文 时间：
2019-08-16 18:47:51
阅读次数：
87
https://www.cnblogs.com/bluestorm/p/4574688.html https://blog.csdn.net/wangbin_0729/article/details/82109693 (包括了负载均衡的配置） ...
分类：
其他好文 时间：
2019-08-11 11:04:49
阅读次数：
101
一、Kafka介绍 kafka是消息中间件的一种，一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spar ...
分类：
其他好文 时间：
2019-08-08 18:48:51
阅读次数：
112
大数据平台是为了满足企业对于数据的各种要求而产生的。大数据平台：是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。既可以采用开源平台，也可以采用华为、星环等商业级解决方案，既可以部署在私有云上，也可以部署在公有云上。大数据平台的功能：1、容纳海量数据利用计算机群集的存储和计算能
分类：
其他好文 时间：
2019-08-08 16:04:32
阅读次数：
108
==目的== 想把zookeeper、hadoop、hbase、storm等大数据组件 设置为开机启动，并且进程挂掉之后，可以自动重启，以减少运维压力。 ==service文件== 路径：/usr/lib/systemd/system 文件名：train-zookeeper.service 样例： ...
分类：
系统相关 时间：
2019-08-08 13:32:27
阅读次数：
170
1.什么是浅拷贝，什么是深拷贝？ 2.storm的并行度问题，需要使用全局变量static ConcorrentHashMap，因为加了static，所有的线程只能拷贝该全局变量的一个唯一的副本，进行操作，其他线程只能等待该线程操作完成才能处理该副本，即实现了单线程操作该副本，线程是安全的；不加st ...
分类：
编程语言 时间：
2019-07-29 00:49:27
阅读次数：
139
格式化快捷键： CTRL + ALT + L 配置等号对齐: 1. Setting 2. Editor 3. Code Style 4. PHP 5. Wrapping and Braces 6. 勾选Align consecutive assignments 配置key-value对齐: 1. S ...
分类：
Web程序 时间：
2019-07-25 12:09:02
阅读次数：
469
8. Storm的分发策略 Storm当中的分组策略，一共有八种： 所谓的grouping策略就是在Spout与Bolt、Bolt与Bolt之间传递Tuple的方式。总共有八种方式： 1）shuffleGrouping（随机分组）随机分组；将tuple随机分配到bolt中，能够保证各task中处理的 ...
分类：
其他好文 时间：
2019-07-25 00:56:18
阅读次数：
171
