1.flume 2.storm 3.hadoop 4.crawler 5.nutch 6.opentsd 7.tigase 8.flume +shell 收集日志,方便在线以及离线分析 9.redis 做用户行为分析的利器 10.maven 11.git 12.ruby 13.python 14.p...
分类:
其他好文 时间:
2014-08-13 14:29:36
阅读次数:
302
现有的hadoop生态系统中存在的问题1)使用mapreduce进行批量离线分析;2)使用hive进行历史数据的分析;3)使用hbase进行实时数据的查询;4)使用storm进行实时的流处理;5)。。。。。。导致:维护成本高、学习成本高Spark的出现弥补了Hadoop生态系统中的缺陷,使用spar...
分类:
其他好文 时间:
2014-06-28 14:08:46
阅读次数:
306
1. 背景介绍许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:(1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;(2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统;(...
分类:
其他好文 时间:
2014-06-20 16:18:14
阅读次数:
294
如题,我这里简单说下我现在离线分析java内存的方式,所谓离线,就是需要
dump出正在运行的java系统中的一些运行时堆栈数据,然后拿到线下来分析,分析可以包括内存,线程,GC等等,同时不会对正在运行的生产环境的机器
造成很大的影响,对应着离线分析,当然是在线分析了,这..
分类:
编程语言 时间:
2014-05-21 13:06:20
阅读次数:
426