Zookeeper简介 Zookeeper是一个高效的分布式协调服务,可以提供配置信息管理、命名、分布式同步、集群管理、数据库切换等服务。它不适合用来存储大量信息,可以用来存储一些配置、发布与订阅等少量信息。Hadoop、Storm、消息中间件、RPC服务框架、分布式数据库同步系统,这些都是Zook ...
分类:
其他好文 时间:
2018-11-04 14:03:26
阅读次数:
205
一,环境搭建 eclipse的项目的创键和jar包的导入。 二,代码编写 1,组件spout的代码编写,用来发射数据源。 2,bolt组件的代码编写,用来切割字段。 3,bolt组件的代码编写,用来统计字段的数量。 4,编写提交类 5,打成jar包,上传到服务器运行。注意只打主类的class,不要连 ...
分类:
其他好文 时间:
2018-11-03 17:31:09
阅读次数:
158
Strom框架基本概念就不提了,这里主要讲的是`Stream`自定义ID的消息流。默认spout、bolt都需实现接口方法`declareOutputFields`,这种情况下发的消息会被所有定义的bolts接收。我们如果需要根据得到的消息类型来选择不同的bolt,就需要用到Stream Group... ...
分类:
其他好文 时间:
2018-11-02 01:55:46
阅读次数:
205
干货走起,闲话不多说,以下就是小编整理的大数据学习思路第一阶段:linux系统本阶段为大数据学习入门基础课程,帮大家进入大数据领取打好Linux基础,以便更好的学习Hadoop、habse、NoSQL、saprk、storm等众多技术要点。另:目前企业中无疑例外是使用Linux来搭建或部署项目的第二阶段:大型网站高并发处理本阶段的学习是为了让大家能够了解大数据的源头,数据从而而来,继而更好的了解大
分类:
其他好文 时间:
2018-10-31 20:07:13
阅读次数:
231
Xdebug安装地址https://xdebug.org/download.php,进入下载页面后点击custom installation instructions,可以找到适合的Xdebug版本。 如果你点击了custom installation instructions,会进入下面的页面,把 ...
分类:
其他好文 时间:
2018-10-31 17:09:27
阅读次数:
334
词频统计 1.需求:读取指定目录的数据,并且实现单词计数功能 2.实现方案: Spout用于读取指定文件夹(目录),读取文件,将文件的每一行发射到Bolt SplitBolt用于接收Spout发射过来的数据,并拆分,发射到CountBolt CountBolt接收SplitBolt发送的每一个单词, ...
分类:
其他好文 时间:
2018-10-31 14:24:38
阅读次数:
247
storm 使用kafka做数据源,还可以把使用netty. 新建一个maven 工程: pom.xml KafkaTopology ...
分类:
其他好文 时间:
2018-10-29 14:48:58
阅读次数:
252
1.什么是Spark Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一。 与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势,一起来 ...
分类:
其他好文 时间:
2018-10-28 12:19:07
阅读次数:
133
大数据 大数据 干货走起,闲话不多说,以下就是小编整理的大数据学习思路 第一阶段:linux系统 本阶段为大数据学习入门基础课程,帮大家进入大数据领取打好Linux基础,以便更好的学习Hadoop、habse、NoSQL、saprk、storm等众多技术要点。 另:目前企业中无疑例外是使用Linux ...
分类:
其他好文 时间:
2018-10-25 14:23:44
阅读次数:
166
工欲善其事,必先利其器。 现在我们说一下,刚开始新建project的时候,选择的ESLint,这是一个代码规范规则,用来统一不同开发人员,不同开发工具产生的不一样的代码风格,导致公共代码的可读性不高的问题。 需要配置一下webstorm的默认设置,CTRL+ALT+S打开设置框,Editor->Co ...
分类:
Web程序 时间:
2018-10-20 21:03:03
阅读次数:
204