2014年12月总结：这月1号新工作开始了我的大数据之旅，从.NET转向Hadoop。工作期间遇到了解决的没有解决的有各种坑，不过好在算是把整套业务给搭建了下来。大体使用的技术及流程如下：mosquittio->flume agent->flume collector->sparkstreaming...
分类：
其他好文 时间：
2014-12-31 22:50:23
阅读次数：
208
文章来自：http://www.cnblogs.com/hark0623/p/4196381.html 转载请注明需要在你的脚本前面添加nohub，后边添加&。例如下面的脚本：nohup ./flume_client.sh &nohup的作用：当你的SecureCRT会话关闭后，保证你的脚本还在Li...
分类：
其他好文 时间：
2014-12-31 20:00:06
阅读次数：
147
由于flume-ng至1.5版本仍旧没有稳定可用的类似flume-og中的taildir的功能，所以从git中https://github.com/jinoos/flume-ng-extends找了一个别人针对flume-ng实现的的taildir这个按照github上他自己说明，是没法正常使用的。...
分类：
Web程序 时间：
2014-12-29 18:07:39
阅读次数：
219
2014-12-19 01:05:42,141 (lifecycleSupervisor-1-1) [WARN - org.apache.flume.sink.AbstractRpcSink.start(AbstractRpcSink.java:294)] Unable to create Rpc ...
分类：
Web程序 时间：
2014-12-20 09:16:07
阅读次数：
461
文章来自：http://www.cnblogs.com/hark0623/p/4174646.html 转发请注明在CDH中用了几天flume后才发现，原来CDH中的flume默认是启动的…………我还自己去启动flume呢。。怪不得监听端口时告诉我端口已被占用了呢。
分类：
Web程序 时间：
2014-12-19 20:40:43
阅读次数：
170
文章来自：http://www.cnblogs.com/hark0623/p/4173714.html 转发请注明因业务需求，需要flume收集MQTT(Mosquitto)的数据。 方法就是flume自定义source，source中来订阅(subscribe)MQTTflume source的j...
分类：
Web程序 时间：
2014-12-19 14:22:28
阅读次数：
269
object LogicHandle { def main(args: Array[String]) { //添加这个不会报执行错误 val path = new File(".").getCanonicalPath() System.getProperties().put("h...
分类：
Web程序 时间：
2014-12-18 20:32:51
阅读次数：
255
如何做集成，其实特别简单，网上其实就是教程。http://blog.csdn.net/fighting_one_piece/article/details/40667035 看这里就成。 我用的是第一种集成。。做的时候，出现了各种问题。 大概从从2014.12.17 早晨5点搞到2014.12.1....
分类：
Web程序 时间：
2014-12-17 20:39:08
阅读次数：
241
郑昀 基于刘金鑫文档 最后更新于2014/12/1 关键词： recsys 、推荐评测、Evaluation of Recommender System、piwik、flume、kafka、storm、redis、mysql 本文档适用人员：研发 ? 推荐系统可不仅仅是围着推荐算法...
分类：
其他好文 时间：
2014-12-17 16:38:41
阅读次数：
458
最近接到一个日志收集的需求，经过测试和修改，目前基本实现想要的功能，记录一下。 先说一下日志收集的需求，每隔1小时收集一次log日志，按照类别生成不同的lzo压缩文件，而且生成的日志要放在到前一个小时的目录中。 拿到这个需求先想到使用flume来进行日志收集，再用Interceptor进行过...
分类：
Web程序 时间：
2014-12-17 01:34:44
阅读次数：
280
