本篇博文详细告诉你如何安装Storm的本地开发环境,总体分为两步,具体如下:
1、从官网上下载Storm的发布包,下载完成后将其解压,并将解压后的bin目录添加到环境变量(PATH)中,以方便后续执行Storm的相关命令
2、修改Storm的配置文件(storm.yaml),主要是按照实际情况更新配置文件中的集群信息,然后将修改后的配置文件添加到目录(~/.storm/)中,目的是为了后续能够远程启动和停止集群上的计算任务(即topology)...
分类:
其他好文 时间:
2014-06-27 23:44:13
阅读次数:
505
过去十年,数据处理领域发生了很大的变化,可以认为是发生了一次革命。MapReduce、Hadoop以及其他相关技术使得在存储和处理我们以前无法想象的大规模数据方面成为可能。然后不幸的是,这些数据处理技术并不是实时系统,而且他们命中注定也不是。无法将Hadoop转换成实时系统,因为实时数据处理和批处理在要求上有本质的不同。
然后,大规模地实时数据处理需求在商业应用上已经越来越迫切。数据处理生态中缺少”实时Hadoop“(即类似于Hadoop在批处理领域的通用解决方案)已经成为一个最大的遗憾。Storm弥补了...
分类:
其他好文 时间:
2014-06-27 09:04:04
阅读次数:
184
1.在命令之后留一个空格有下列方式:
源文件如下:
\documentclass[a4paper,12pt]{book}%采用book类型(中篇论文一般采用这种类型),A4纸,字体为12磅,默认为10磅
\usepackage{ctexcap}%采用中文标题宏包(标题是中文的)
%\usepackage{ctex}%采用中文字体宏包(标题是英文的)与ctexcap不能同时使用...
分类:
其他好文 时间:
2014-06-20 11:18:36
阅读次数:
277
下面对htmlparser 简单介绍下,信息来自百度
htmlparser[1]是一个纯的java写的html(标准通用标记语言下的一个应用)解析的库,它不依赖于其它的java库文件,主要用于改造或
提取html。它能超高速解析html,而且不会出错。现在htmlparser最新版本为2.0。
毫不夸张地说,htmlparser就是目前最好的html解析和分析的工具。...
分类:
编程语言 时间:
2014-06-20 10:24:38
阅读次数:
269
1、在pig下载的安装包,解压完成了之后,有一个tutorial目录,我们使用里面的数据来开始pig学习。如果tutorial目录下没有存在pigtutorial.tar.gz文件的话,那么需要使用ant来编译出这个文件 如果没有ant,见分类linux下的ant安装2、进入tutorial目录,....
分类:
其他好文 时间:
2014-06-19 00:43:35
阅读次数:
303
1、练习 首先编写两个数据文件A: 0,1,2 1,3,4 数据文件B: 0,5,2 1,7,8 上传到HDFS对应目录/input目录下2、运行pig ,加载A和B 加载数据A:使用指定的分隔符, grunt> a = load '/input/A' using PigStora...
分类:
其他好文 时间:
2014-06-19 00:27:03
阅读次数:
354
1、Working with UDF(user defined function) pig能够支持两种类型的UDFs:eval和load/store, 其中load/store的自定义函数主要是用来加载和保存特定的数据格式; eval自定义函数主要用来进行常规的数据转换。1.1 eval 如...
分类:
其他好文 时间:
2014-06-18 23:43:45
阅读次数:
495
当时java开发范畴的各种集成开发环境(IDE)呈现出百花齐放的局势,从Borland的JBuilder,到IBM的Visual Age for Java、WebSphere Studio,Oracle的JDeveloper,Sun的 Forte for Java,WebGain的Visual Ca...
分类:
系统相关 时间:
2014-06-14 08:29:49
阅读次数:
364
git是常用的分布式版本控制系统,每个本地版本都包含整个工程。故在不联网的情况下也能够进行工程。
如果在Internet上放一个远端库,就可以作为一个版本服务器,用来充当集中式版本控制的角色。
如github这样的网站就提供版本库托管的服务。
这里简单介绍git,git的入门使用方法。...
分类:
其他好文 时间:
2014-06-10 15:14:01
阅读次数:
221
对于 UNIX 本身,也有各种称呼。IBM® 大型机用户说各种带字母 “z” 的行话,比如 IBM z/OS® 和 System z9 Virtual Machine (z/VM);嵌套系统开发人员使用 eCos 这个词;在聊天中还会提到其他许多风格的 UNIX,比如 Linux®、FreeBSD、Sun Solaris 和 Mac OS X。现代信息技术使用各种各样的方言,简直就像是圣经中巴别塔...