“Ad-hoc analysis over Cassandra data with Facebook Presto”一文，对Cassandra+Presto
结合实现大数据即席分析进行了介绍。Presto是为满足交互式即席查询需求而优化的分布式SQL查询引擎。它支持标准ANSI SQL，包括复杂查询，聚合，连接和窗口函数。
Cassandra以前缺少交互式即席查询功能，甚至在CQL中不支持聚合函数。因为这个原因，Cassandra在作为数据库使用时经常被混淆。分析Cassandra中的数据有下边两个框架：
...
分类：
Web程序 时间：
2014-10-10 20:13:04
阅读次数：
666
一、概述
1、现在有三台机器，分别是：Hadoop1，Hadoop2，Hadoop3，以Hadoop1为日志汇总
2、Hadoop1汇总的同时往多个目标进行输出
3、Flume一个数据源对应多个channel，多个sink，是在consolidation-accepter.conf文件里配置的
二、部署Flume来采集日志和汇总日志
1、在Hadoop1上运行fl...
分类：
Web程序 时间：
2014-10-10 17:10:34
阅读次数：
568
linux操作系统最小粒度的定时调度器只能调到分钟的级别，工作中有时需在到秒的调度，所以需要自己编写脚本来实现
#!/bin/bash
while [ true ]; do
/bin/sleep 1
##在这里可以编写自己复杂的业务代码netstat -n | grep 8020 >> /root/data/flume.log
echo 10.58...###`date` >> /root/...
分类：
系统相关 时间：
2014-10-10 13:26:14
阅读次数：
196
Flume-NG中的hdfs sink的路径名(对应参数"hdfs.path"，不允许为空)以及文件前缀(对应参数"hdfs.filePrefix")支持正则解析时间戳自动按时间创建目录及文件前缀。 在实际使用中发现Flume内置的基于正则的解析方式非常耗时，有非常大的提升空间。如果你不需要配...
分类：
其他好文 时间：
2014-10-10 09:52:34
阅读次数：
2135
这里只考虑flume本身的一些东西，对于JVM、HDFS、HBase等得暂不涉及。。。。一、关于Source： 1、spool-source：适合静态文件，即文件本身不是动态变化的； 2、avro source可以适当提高线程数量来提高此source性能； 3、ThriftSource在使用时...
分类：
其他好文 时间：
2014-10-09 19:29:07
阅读次数：
292
elasticsearch kibana3安装...
分类：
其他好文 时间：
2014-10-09 17:29:58
阅读次数：
221
Flume配置
。
flume生成的数据结构
"_index" : "logstash-2013.01.07",
"_type" : "tms_jboss_syslog",
"_id" : "a_M9X_0YSpmE7A_bEzIFiw",
"_score" : 1.0, "_source" : {"@source":"file://localhost.localdomain/tmp...
分类：
其他好文 时间：
2014-10-09 17:03:48
阅读次数：
290
今晚想算算制造一款App的成本。单说iPhone版。通常情况下需要后端工程师×1，客户端工程师×1，UI设计师×1，产品经理×1。这已经是比较精简的配置。搁大公司，还得再配置测试工程师，运维工程师，交互设计师等等。如果遇上全端工程师，或者对后端的依赖不大，工程师或许可以减少到1个。如果产品经理和UI...
分类：
移动开发 时间：
2014-10-04 09:53:16
阅读次数：
313
Flume数据传输事务分析
本文基于ThriftSource,MemoryChannel,HdfsSink三个组件，对Flume数据传输的事务进行分析，如果使用的是其他组件，Flume事务具体的处理方式将会不同。一般情况下，用MemoryChannel就好了，我们公司用的就是这个，FileChannel速度慢，虽然提供日志级别的数据恢复，但是一般情况下，不断电MemoryChannel是不会...
分类：
其他好文 时间：
2014-09-30 17:11:59
阅读次数：
187
最近在用Flume做数据的收集。用到了里面的Spooldir的源在使用中有如下的问题：如果文件的某一行有乱码，不符合指定的编码规范，那么flume会抛出一个exception，然后就停在那儿了。spooldir指定的文件夹中的文件一旦被修改，flume就会抛出一个exception，然后停在那儿了。...
分类：
其他好文 时间：
2014-09-26 19:21:18
阅读次数：
220
