在上一篇博客(Storm实时大数据处理(一))中,我介绍了Storm的基本概念和原理,本文我们开始基于Storm提供的API开发自己的应用程序。入门Storm应用程序开发很简单,这得益于设计者为我们精心设计的简单API。 一、搭建开发环境 在生产环境中,Storm集群运行在基于Linux操作系统的分 ...
分类:
其他好文 时间:
2018-09-08 21:03:47
阅读次数:
222
学习大数据目前主要三个平台hadoop,storm,spark 比如学hadoop,从哪儿开始学首先要根据你的基本情况而定,如果你就一小白,没有任何开发基础,也没有学过任何开发语言,那就必须先从基础java开始学起(大数据支持很多开发语言,但企业用的最多的还是JAVA),接下来学习数据结构、关系型数 ...
分类:
其他好文 时间:
2018-09-08 13:05:55
阅读次数:
155
1、流计算SQL原理和架构 流计算SQL通常是一个类SQL的声明式语言,主要用于对流式数据(Streams)的持续性查询,目的是在常见流计算平台和框架(如Storm、Spark Streaming、Flink、Beam等)的底层API上, 通过使用简易通用的的SQL语言构建SQL抽象层,降低实时开发 ...
分类:
数据库 时间:
2018-09-05 11:41:23
阅读次数:
281
js webstorm中svn的配置及使用 一.webstorm配置svn: 1.在webstorm工具中找到file(文件)-setting(设置)菜单按钮: 2.在左边菜单中找到plus(插件)的按钮: 在右边搜索框中输入svn或者直接点击Browse repositories按钮会弹出框 3. ...
分类:
Web程序 时间:
2018-09-04 18:59:03
阅读次数:
242
1.合并路径 2.寻找用户目录 3.分割路径名和文件名 4.通过定义元组来分开路径名和文件名 5.分开文件名和扩展名 6.列出路径下的这一级的所有文件夹和文件 >>> os.listdir("c:\\")['$360Section', '$Recycle.Bin', '1805-18 SUWLARK ...
分类:
编程语言 时间:
2018-09-03 21:59:25
阅读次数:
289
一.Storm的下载 官网下载地址:http://storm.apache.org/downloads.html 这里下载最新的版本storm1.2.2,进入之后选择一个镜像下载 二.Storm伪分布式安装 1.环境准备 JDK 1.7+ 验证: java -versionPython 2.6.6+ ...
分类:
其他好文 时间:
2018-09-02 23:57:09
阅读次数:
513
安装步骤 yum install -y gcc-c++.x86_64 yum install -y uuid-devel.x86_64 yum install -y libuuid-devel.x86_64 yum install -y libtool.x86_64 yum install -y g ...
分类:
Web程序 时间:
2018-09-01 20:39:35
阅读次数:
278
大数据学习路线java(Java se,javaweb)Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume)机器学习(R,mahout)Storm(Storm ...
分类:
其他好文 时间:
2018-08-25 14:28:06
阅读次数:
149