SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kdfka、Flume、Twitter、Zero和TCP 套接字）进行类似map、reduce、join、window等复杂操作，并将结果保存到外部文件系统、数据库或应用到实时仪表盘。Spark S...
分类：
Web程序 时间：
2014-10-13 22:30:37
阅读次数：
500
在Flume中使用Event对象来作为传递数据的格式，在flume-ng-core子项目中的org.apache.flume.serialization包下，有一个名为LineDeserializer的类，这个类负责把数据按行来读取，每一行封装成一个Event（实现方式：按字节读取，当遇到"\n.....
分类：
Web程序 时间：
2014-10-11 12:26:35
阅读次数：
416
“Ad-hoc analysis over Cassandra data with Facebook Presto”一文，对Cassandra+Presto
结合实现大数据即席分析进行了介绍。Presto是为满足交互式即席查询需求而优化的分布式SQL查询引擎。它支持标准ANSI SQL，包括复杂查询，聚合，连接和窗口函数。
Cassandra以前缺少交互式即席查询功能，甚至在CQL中不支持聚合函数。因为这个原因，Cassandra在作为数据库使用时经常被混淆。分析Cassandra中的数据有下边两个框架：
...
分类：
Web程序 时间：
2014-10-10 20:13:04
阅读次数：
666
一、概述
1、现在有三台机器，分别是：Hadoop1，Hadoop2，Hadoop3，以Hadoop1为日志汇总
2、Hadoop1汇总的同时往多个目标进行输出
3、Flume一个数据源对应多个channel，多个sink，是在consolidation-accepter.conf文件里配置的
二、部署Flume来采集日志和汇总日志
1、在Hadoop1上运行fl...
分类：
Web程序 时间：
2014-10-10 17:10:34
阅读次数：
568
linux操作系统最小粒度的定时调度器只能调到分钟的级别，工作中有时需在到秒的调度，所以需要自己编写脚本来实现
#!/bin/bash
while [ true ]; do
/bin/sleep 1
##在这里可以编写自己复杂的业务代码netstat -n | grep 8020 >> /root/data/flume.log
echo 10.58...###`date` >> /root/...
分类：
系统相关 时间：
2014-10-10 13:26:14
阅读次数：
196
Flume-NG中的hdfs sink的路径名(对应参数"hdfs.path"，不允许为空)以及文件前缀(对应参数"hdfs.filePrefix")支持正则解析时间戳自动按时间创建目录及文件前缀。 在实际使用中发现Flume内置的基于正则的解析方式非常耗时，有非常大的提升空间。如果你不需要配...
分类：
其他好文 时间：
2014-10-10 09:52:34
阅读次数：
2135
这里只考虑flume本身的一些东西，对于JVM、HDFS、HBase等得暂不涉及。。。。一、关于Source： 1、spool-source：适合静态文件，即文件本身不是动态变化的； 2、avro source可以适当提高线程数量来提高此source性能； 3、ThriftSource在使用时...
分类：
其他好文 时间：
2014-10-09 19:29:07
阅读次数：
292
elasticsearch kibana3安装...
分类：
其他好文 时间：
2014-10-09 17:29:58
阅读次数：
221
Flume配置
。
flume生成的数据结构
"_index" : "logstash-2013.01.07",
"_type" : "tms_jboss_syslog",
"_id" : "a_M9X_0YSpmE7A_bEzIFiw",
"_score" : 1.0, "_source" : {"@source":"file://localhost.localdomain/tmp...
分类：
其他好文 时间：
2014-10-09 17:03:48
阅读次数：
290
ansible相关基于paramiko开发的。这个paramiko是什么呢？它是一个纯Python实现的ssh协议库。因此fabric和ansible还有一个共同点就是不需要在远程主机上安装client/agents，因为它们是基于ssh来和远程主机通讯的。Inventory文件用来定义要管理的主机，默认位置/etc/ansible/host..
分类：
其他好文 时间：
2014-10-01 00:06:40
阅读次数：
353
