http://blog.aulei521.com/?p=130 ...
分类：
其他好文 时间：
2018-08-09 14:51:54
阅读次数：
153
简介 Kafka 是一种高吞吐的分布式发布订阅消息系统，能够替代传统的消息队列用于解耦合数据处理，缓存未处理消息等，同时具有更高的吞吐率，支持分区、多副本、冗余，因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端，可与Hadoop、Storm、Spark等其它大数据 ...
分类：
其他好文 时间：
2018-08-07 16:16:37
阅读次数：
165
https://www.cnblogs.com/yaohaitao/p/5703288.html Spark Streaming与Storm的应用场景 对于Storm来说：1、建议在那种需要纯实时，不能忍受1秒以上延迟的场景下使用，比如实时金融系统，要求纯实时进行金融交易和分析2、此外，如果对于实时 ...
分类：
其他好文 时间：
2018-08-07 13:01:12
阅读次数：
164
1.hadoop有master与slave，Storm与之对应的节点是什么？ 2.Storm控制节点上面运行一个后台程序被称之为什么？3.Supervisor的作用是什么？4.Topology与Worker之间的关系是什么？5.Nimbus和Supervisor之间的所有协调工作有master来完成 ...
分类：
其他好文 时间：
2018-08-05 14:21:51
阅读次数：
180
1, 基本概念 在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！ 换个角度说，大数据是： 1、有海量的数据 2、有对海量数据进行 ...
分类：
其他好文 时间：
2018-08-03 21:44:47
阅读次数：
208
23:01:17 react脚手架搭建 (个人用的是webstorm,所以分享下webstorm中的创建react脚手架项目的方法) 1.创建新项目(前提是下载nodejs环境) 2.下载好在webstorm中右键自己创建的项目目录,菜单中会出现一个命令行工具,点进去 然后 npm start 开启 ...
分类：
其他好文 时间：
2018-07-31 00:33:41
阅读次数：
140
需求：读取指定目录的数据，并实现单词计数的功能 实现方案： Spout来读取指定目录的数据，作为后续Bolt处理的input 使用一个Bolt把input 的数据，切割分开，我们按照逗号进分割 使用一个Bolt来进行最终的单词次数统计操作并输出 拓扑设计：DataSourceSpout ==>Spi ...
分类：
其他好文 时间：
2018-07-28 20:36:43
阅读次数：
276
最近在拉取Vue项目时总是会出现webstorm内存瞬间爆满，导致webstorm卡死，而且,有时在下载完node_modues后webstorm一直处于updating中，为此在网上找了很多方法结果效果不怎么理想，然后自己就接着捣鼓，终于捣鼓出来了。下面就是方法： 1、打开webstorm,然后依 ...
分类：
Web程序 时间：
2018-07-21 14:40:50
阅读次数：
581
大数据这个词也许几年前你听着还会觉得陌生，但我相信你现在听到hadoop这个词的时候你应该都会觉得“熟悉”！越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门级的新手，你会觉得哪些地方很难呢？运行环境的搭建恐怕就已经足够让新手头疼。如果每一个发行版hadoop都可以做到像大快DKHadoop那样把各种环境搭建集成到一起，一次安装搞定所有，那对于新手来说将是件多么美妙的事情！
分类：
其他好文 时间：
2018-07-17 16:25:56
阅读次数：
213
安装运行环境这样的坑，那些做国产大数据底层开发的，如果不能解决这个问题的话，我觉得不是一个合格的大数据底层开发机构。不过比较幸运的是，三月的时候申请拿到了一个DKHadoop的三节点发行版，大快开源的发行版hadoop。这个国产发行版就把各种常用的组建比如：HDFS，Hbase,Storm,Flume,Kafka，Mahout，Es等集成到了一起，终于不需要绞尽脑汁去折腾底层平台的搭建与配置了，简单的完成安装即可。这对于hadoop初学者来说，可谓是福音了。
分类：
数据库 时间：
2018-07-14 16:39:45
阅读次数：
208
