http://www.liaohuqiu.net/cn/posts/leak-canary-read-me/LeakCanary 中文使用说明10 May 2015LeakCanaryAndroid 和 Java 内存泄露检测。“A small leak will sink a great ship...
分类：
移动开发 时间：
2016-01-20 12:58:36
阅读次数：
205
Java NIO 管道是2个线程之间的单向数据连接。Pipe有一个source通道和一个sink通道。数据会被写到sink通道，从source通道读取。这里是Pipe原理的图示：创建管道通过Pipe.open()方法打开管道。例如：Pipe pipe = Pipe.open();向管道写数据要向管道...
分类：
编程语言 时间：
2016-01-19 20:54:09
阅读次数：
156
http://www.cnblogs.com/sink_cup/archive/2012/09/14/ssd_iops_sql_nosql.htmlhttp://www.techrepublic.com/blog/the-enterprise-cloud/calculate-iops-in-a-st...
分类：
其他好文 时间：
2016-01-16 14:19:58
阅读次数：
166
上周把安卓日志手机的客户端sdk完成跑通，这周开始调试日志服务器端。使用flume进行日志收集，然后转kafka。在测试的时候总是发现漏掉一些event，后来才知道对 channel 和 sink 的使用有误。当多个sink使用同一个channel时，event是会分流共同消耗的，而不是每个sink...
分类：
Web程序 时间：
2016-01-05 18:40:42
阅读次数：
197
C++中实现回调机制的几种方式（1）Callback方式Callback的本质是设置一个函数指针进去，然后在需要需要触发某个事件时调用该方法, 比如Windows的窗口消息处理函数就是这种类型。比如下面的示例代码，我们在Download完成时需要触发一个通知外面的事件：(2)Sink方式Sink的本...
分类：
编程语言 时间：
2015-12-25 09:57:59
阅读次数：
185
Flink 的流数据 API 编程指南Flink 的流数据处理程序是常规的程序 ，通过再流数据上，实现了各种转换 (比如 过滤, 更新中间状态, 定义窗口, 聚合)。流数据可以来之多种数据源 (比如, 消息队列, socket 流, 文件). 通过sink组件落地流计算的最终结果，比如可以把数据落地...
分类：
其他好文 时间：
2015-12-07 20:16:29
阅读次数：
2836
hive加载的数据为通过flume-ng收集的数据，然后直接将其sink指定为hdfs，在指定hdfs sink的前缀时获取header中的host内容，而前一个源根本没有将host传递过来，所以导致存入hdfs中的数据文件文件名为以点开头，如下：接下来在hive中创建一个外部表（内部表也一样），导...
分类：
其他好文 时间：
2015-12-04 00:48:10
阅读次数：
894
问题描述：采用flume上传到HDFS通过原生的sink一直会报如下错误：flume支持lzo压缩前提条件：1、flume机器节点上安装有lzo库hadoop库。2、flume启动的时候配置过hadoop环境变量。3、hadoop配置支持lzo格式压缩。解决问题：
分类：
Web程序 时间：
2015-12-03 15:44:41
阅读次数：
839
Todo:对Flume的sink进行重构，调用kafka的消费生产者(producer)发送消息;在Sotrm的spout中继承IRichSpout接口，调用kafka的消息消费者(Consumer)来接收消息，然后经过几个自定义的Bolt，将自定义的内容进行输出编写KafkaSink从$KAFKA...
分类：
Web程序 时间：
2015-11-27 17:43:28
阅读次数：
290
官方文档参数解释：http://flume.apache.org/FlumeUserGuide.html#hdfs-sink需要注意：文件格式，fileType=DataStream 默认为SequenceFile，是hadoop的文件格式，改为DataStream就可直接读了（SqeuenceFi...
分类：
Web程序 时间：
2015-11-23 21:54:39
阅读次数：
225
