整体思路 整体分三步： 1、记录日志 1、记录日志采用UDP协议写入大数据平台，大数据平台采用Hive表来存储日志信息。 2、写入日志的工作，封装了一个Auto.Lib3.Dealer.Log.dll，这个dll要依赖ZooKeeperNet.dll 和 log4net.dll。这三个dll文件地址... ...
分类：
其他好文 时间：
2016-07-21 08:39:52
阅读次数：
709
在网上看过的安装教程真的是有点心酸呢。好多都失败了。分享下，自己实验成功可以用的博文供大家参考：推荐1给力星：http://www.powerxing.com/install-hadoop/hadoop+spark完全参考的他的博文，相当给力推荐指数5个星hive的话，我这边参考的文章太多了。没个能用的，不知道是..
分类：
系统相关 时间：
2016-07-13 23:38:30
阅读次数：
470
上次实现了flume＋kafka＋hbase＋ELK：http://www.cnblogs.com/super-d2/p/5486739.html 这次我们可以加上storm: storm-0.9.5简单配置如下： 安装依赖 安装 Python 安装 zookeeper wget http://mi ...
分类：
数据库 时间：
2016-07-12 13:38:43
阅读次数：
427
Hadoop 图形化用户界面 Hue 大数据可视化工具 Nanocubes 企业大数据平台 RedHadoop 大数据查询引擎 PrestoDB Hadoop集群监控工具 HTools 安全大数据分析框架 OpenSOC 分布式数据仓库系统 Apache Tajo 数据管道服务 Suro 开源大数据 ...
分类：
其他好文 时间：
2016-07-01 06:39:58
阅读次数：
231
下午分会场有不同主题，即有云计算大数据企业级应用实战，又有商业化和业务化角度来论述大数据应用的，而阿里云计算大数据平台架构是我颇为关心的，故以下只对系统架构进行论述。...
分类：
其他好文 时间：
2016-06-03 19:30:06
阅读次数：
194
Spark正在数据处理领域卷起一场风暴。让我们通过本篇文章，看看为Spark的大数据平台起到推波助澜的几个重要工具。Spark生态系统众生相Apache Spark不仅仅让大数据处理起来更快，还让大数据处理起来更简单、功能更强大、更方便。Spark并非只是一项技术，它结合了诸多部分，新的功能和性能改 ...
分类：
其他好文 时间：
2016-05-13 10:37:29
阅读次数：
147
本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。 在互联网时代被弱化的数据模型 谈起数据模型就不得不提传 ...
分类：
其他好文 时间：
2016-04-18 11:24:10
阅读次数：
297
鉴于目前大数据Hadoop 2.x被企业广泛使用，在实际的企业项目中需要更加深入的灵活运用,并且Hadoop 2.x是大数据平台处理 的框架的基石，尤其在海量数据的存储HDFS、分布式资源管理和任务调度YARN及分布式计算框架MapReduce。然而当前众多书籍和 视频教程资料中,没有一套完整的、深 ...
分类：
其他好文 时间：
2016-04-12 07:09:48
阅读次数：
373
本项目主要讲解了一套应用于互联网电商企业中，使用Java、Spark等技术开发的大数据统计分析平台，对电商网站的各种用户行为（访问行为、页面跳转行为、购物行为、广告点击行为等）进行复杂的分析。用统计分析出来的数据，辅助公司中的PM（产品经理）、数据分析师以及管理人员分析现有产品的情况，并根据用户行为 ...
分类：
其他好文 时间：
2016-04-12 00:03:28
阅读次数：
299
Apache Hadoop Hadoop现在已经进入第二个10年发展期了, 但不可否认的是, Hadoop在2014年出现了井喷式发展, 由于Hadoop从测试集群向生产和软件供应商方向不断转移, 其越来越接近于分布式存储和处理机架构, 因此, 这一势头在2015年会更加猛烈。由于大数据平台的强大, ...
分类：
其他好文 时间：
2016-04-11 22:28:37
阅读次数：
225
