转自:http://www.fx114.net/qa-81-151600.aspx 一些杂琐的东西,记录一下,以后可能会用得上,另外以后遇到可以记录的可以追加在这里 查找进程内最耗费CPU的线程: jmap导出java进程内存情况并用jhat分析 storm相关进程启动命令: jstorm相关进程启 ...
分类:
系统相关 时间:
2017-05-20 11:08:41
阅读次数:
157
折线之间的内容整理自:http://blog.csdn.net/suifeng3051/article/details/38369689--------------------------------...
分类:
Web程序 时间:
2017-04-20 11:02:38
阅读次数:
4834
关于流处理框架,在先前的文章汇总已经介绍过Strom,今天学习的是来自阿里的的流处理框架JStorm。简单的概述Storm就是:JStorm 比Storm更稳定,更强大,更快,Storm上跑的程序,一行代码不变可以运行在JStorm上。直白的将JStorm是阿里巴巴的团队基于Storm的二次开发产物 ...
分类:
Web程序 时间:
2017-02-13 10:42:55
阅读次数:
175
近些年,大数据流式处理的讨论热了起来,就在去年,阿里巴巴想apache基金会贡献了java语言版的Jstorm,那么?为什么现在企业会越来越关注大数据的流式处理呢?仅仅对大容量的离线数据分析挖掘,已经...
分类:
其他好文 时间:
2017-01-28 11:30:35
阅读次数:
262
初识Storm 1.storm有一个分支,则这个分支一个事jstorm,这个是阿里巴巴将要开源的2.离线计算:批量获取数据,批量传输数据代表技术:Sqoop批量导入数据,HDFS批量存储数据,MapReduce批量计算数据大量消耗hive,消耗大量SQL语句主要工作量:1.hivesql(工作量较多 ...
分类:
其他好文 时间:
2016-12-20 07:42:09
阅读次数:
121
zookeeper的配置: zookeeper有三种配置方式:单机式/伪分布式/集群式 其中伪分布式是在一台电脑上通过不同的端口来模拟分布式情形,需要N份配置文件和启动程序,而集群式是多个zookeeper程序。 首先通过sftp等方式获取tar包,解压到指定的目录:/usr/local/java ...
分类:
Web程序 时间:
2016-11-17 18:49:56
阅读次数:
480
一、Strom基本知识(回顾) 1,首先明确Storm各个组件的作用,包括Nimbus,Supervisor,Spout,Bolt,Task,Worker,Tuple nimbus是整个storm任务的管理者,并不实际进行工作。负责在集群中分发代码,对节点分配任务,并监视主机故障。 supervis ...
分类:
Web程序 时间:
2016-10-19 02:14:46
阅读次数:
356
在Strom/JStorm中有一个类是特别重要的,主要用来构建Topology的,这个类就是TopologyBuilder. 咱先看一下简单的例子: 在上面的main方法里先创建TopologyBuilder对象,然后设置好已创建的Spout节点和Bolt节点,并用随机分组(shuffleGroup ...
分类:
Web程序 时间:
2016-10-16 18:53:02
阅读次数:
275
开始JStorm学习之前需要搭建集群环境,这里演示搭建单机JStorm环境,仅供学习使用,生产环境部署大同小异,但建议参考JStorm社区及相关说明文档。 一、前提 JStorm核心代码均用Java实现,所以依赖Java Runtime,另外,JStorm有脚本采用Python实现,所以还需要Pyt ...
分类:
Web程序 时间:
2016-07-09 02:00:14
阅读次数:
672
一 安装步骤
二 搭建Zookeeper集群
1 ZooKeeper 单机安装与配置
11 下载zookeeper安装包
12 解压zookeeper安装包
13 设置环境变量
14 配置zoocfg
15 启动zookeeper
3 Zookeeper 内容补充
三 搭建JStorm集群
1 安装Python 26
2 安装JDK 17 版本
3 安装JStorm
31 配置JSTORM_HOME...
分类:
Web程序 时间:
2016-07-03 19:30:24
阅读次数:
367