词频统计 1.需求:读取指定目录的数据,并且实现单词计数功能 2.实现方案: Spout用于读取指定文件夹(目录),读取文件,将文件的每一行发射到Bolt SplitBolt用于接收Spout发射过来的数据,并拆分,发射到CountBolt CountBolt接收SplitBolt发送的每一个单词, ...
分类：
其他好文 时间：
2018-10-31 14:24:38
阅读次数：
247
storm 使用kafka做数据源，还可以把使用netty. 新建一个maven 工程： pom.xml KafkaTopology ...
分类：
其他好文 时间：
2018-10-29 14:48:58
阅读次数：
252
1.什么是Spark Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。 与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势，一起来 ...
分类：
其他好文 时间：
2018-10-28 12:19:07
阅读次数：
133
大数据 大数据 干货走起，闲话不多说，以下就是小编整理的大数据学习思路 第一阶段：linux系统 本阶段为大数据学习入门基础课程，帮大家进入大数据领取打好Linux基础，以便更好的学习Hadoop、habse、NoSQL、saprk、storm等众多技术要点。 另：目前企业中无疑例外是使用Linux ...
分类：
其他好文 时间：
2018-10-25 14:23:44
阅读次数：
166
Go is an open source programming language that makes it easy to build simple,reliable, and effcient software. Try Go https://tour.golang.org/welcome/1 ...
分类：
其他好文 时间：
2018-10-22 16:44:26
阅读次数：
154
工欲善其事，必先利其器。 现在我们说一下，刚开始新建project的时候，选择的ESLint，这是一个代码规范规则，用来统一不同开发人员，不同开发工具产生的不一样的代码风格，导致公共代码的可读性不高的问题。 需要配置一下webstorm的默认设置，CTRL+ALT+S打开设置框，Editor->Co ...
分类：
Web程序 时间：
2018-10-20 21:03:03
阅读次数：
204
Node开发环境搭建1、从官网下载nodejs的安装包2、安装基本上一路next即可3、检测C:\Users\Administrator>pathPATH=C:\ProgramFiles\Java\jdk1.7.0_79\bin;C:\ProgramFiles\VanDykeSoftware\Clients\;C:\ProgramData\Oracle\Java\javapath;D:\ap
分类：
其他好文 时间：
2018-10-19 17:41:27
阅读次数：
137
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于
分类：
其他好文 时间：
2018-10-18 16:57:12
阅读次数：
137
https://www.jianshu.com/p/91975f66427d 最近用laravel-admin在做一个小项目，其中用到了excel导出功能。 但是laravel-admin自带的导出功能不带图片，并且导出的数据有很多冗余的字段，并非我所需要的功能。 所以参考官方文档调整代码，实现了自 ...
分类：
其他好文 时间：
2018-10-17 16:48:27
阅读次数：
522
一、背景 基本所有公司互联网公司都会有离线和实时任务，达到实时的目的手段据个人了解有storm、spark-streaming、flink。今天来探讨一下spark-streaming任务的开发到上线过程中遇到的问题。 公司领导最近提了一个实时展示用户、产品各方面统计数据的需求，对于数据埋点需要有一 ...
分类：
其他好文 时间：
2018-10-15 23:17:27
阅读次数：
332
