Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。 与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。 首先，Spark为我们提供 ...
分类：
其他好文 时间：
2018-09-28 17:34:32
阅读次数：
164
人工智能区块链大数据云计算深度学习区块链底层开发HadoopDocker机器学习区块链算法原理SparkOpenStack自然语言处理DAPP只能合约开发Storm虚拟化图像识别处理EOS智能合约Hive云平台语音识别超级账本YarnOffice365机器视觉区块链投资数据分析云服务推荐算法数据挖掘自动驾驶量化交易机器人后端开发前端开发移动开发游戏开发PythonHTML/CSSHTML5Unit
分类：
其他好文 时间：
2018-09-28 11:06:10
阅读次数：
187
今天编写一个storm的topology，bolt的逻辑跟之前的类似。 为了减少重复代码，我建了个抽象基类，存放bolt的公共逻辑，设计了几个abstract方法，不同的逻辑部分由子类实现。 基类日志定义如下： Logger是项目封装的，用于ELK的对象，考虑到子类可能用到，我把它的static去掉 ...
分类：
编程语言 时间：
2018-09-27 01:54:47
阅读次数：
205
由于工作需要，需要搭建hadoop+zookeeper+hbase+storm+kafka集群准备了三台服务器（一台8核+32G内存+300G硬盘充当master，一台8核+16G内存+300G硬盘充当slave01，一台8+16G+500G硬盘充当slave02，并且都能上网），具体如下：Master根据情况定义Hadoop、zookeeper、hbase、storm、kafka、Slave01
分类：
其他好文 时间：
2018-09-12 15:06:17
阅读次数：
147
MongoDB是大数据技术中常用的NoSql型数据库，它提供的大量的查询、聚合等操作函数，对于大量查询的日志系统来说，该MongoDB是大数据日志存储的福音。Storm的高级编程技术Trident，也提供了与Mongo集成的方法，但官方只提供了新增的处理，对于常用的修改操作并未提供接口，本文提供了一 ...
分类：
数据库 时间：
2018-09-10 17:58:24
阅读次数：
201
首先编写一个打印函数KafkaPrintFunction 然后编写trident整合kafka的topology 另一个Java项目发送kafka数据 最后运行storm项目以及java项目（需要先运行java项目往kafka发数据，建立此topic，storm才能消费这个topic） 观察结果，s ...
分类：
其他好文 时间：
2018-09-10 13:30:09
阅读次数：
320
先做一个对比： 对比点 Storm Spark Streaming 实时计算模型 纯实时，来一条数据，处理一条数据 准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理 实时计算延迟度 毫秒级 秒级 吞吐量 低 高 事务机制 支持完善 支持，但不够完善 健壮性 / 容错性 ZooKeeper ...
分类：
其他好文 时间：
2018-09-10 11:02:27
阅读次数：
539
官网：http://hadoop.apache.org/ The Apache? Hadoop® project develops open-source software for reliable, scalable, distributed computing. The Apache Hadoo ...
分类：
其他好文 时间：
2018-09-09 11:57:26
阅读次数：
198
在上一篇博客（Storm实时大数据处理（一））中，我介绍了Storm的基本概念和原理，本文我们开始基于Storm提供的API开发自己的应用程序。入门Storm应用程序开发很简单，这得益于设计者为我们精心设计的简单API。 一、搭建开发环境 在生产环境中，Storm集群运行在基于Linux操作系统的分 ...
分类：
其他好文 时间：
2018-09-08 21:03:47
阅读次数：
222
学习大数据目前主要三个平台hadoop,storm,spark 比如学hadoop，从哪儿开始学首先要根据你的基本情况而定，如果你就一小白，没有任何开发基础，也没有学过任何开发语言，那就必须先从基础java开始学起（大数据支持很多开发语言，但企业用的最多的还是JAVA），接下来学习数据结构、关系型数 ...
分类：
其他好文 时间：
2018-09-08 13:05:55
阅读次数：
155
