企业架构 概念: 三大功能 collecting(收集),aggregating(聚合),moving(传输) 特点: on streaming data flows(基于流式的数据) Flume-ng只有一个角色节点: agent的角色,agent有source、channel、sink组成 Fl ...
分类：
Web程序 时间：
2016-11-24 15:09:24
阅读次数：
215
在HDFS的文件默认生成文件大小1K,如何设置文件大小和数量 使用Flume是为了将最新的数据或文件上传到HDFS上,那如果遇到分区表该如何解决 Flume上传文件默认是以FlumeData开头,如何更改开头信息 企业中多台Flume如何解决磁盘IO问题 如何解决不同操作系统下Flume ...
分类：
Web程序 时间：
2016-11-24 14:54:59
阅读次数：
236
企业中的日志存放_1 企业中的日志存放_2 企业中常用架构 Flume多sink ...
分类：
Web程序 时间：
2016-11-24 14:50:00
阅读次数：
327
案例一: source：hive.log channel: memory sink: logger输出 案例二:source：hive.log channel: file sink: logger输出 案例三:source：hive.log channel: mem sink: hdfs ...
分类：
Web程序 时间：
2016-11-24 14:30:56
阅读次数：
296
【转载】 http://blog.csdn.net/simonchi/article/details/43231891 ERROR hdfs.BucketWriter: Hit max consecutive under-replication rotations (30) 本人在测试hdfs的si ...
分类：
Web程序 时间：
2016-11-24 14:10:03
阅读次数：
422
由于项目原因需要定期检查磁盘空间占用情况，常用检查命令如下： 于一日发现在使用Flume + Kafka进行数据同步时，某一局点数据无法进行消费，通过df -lh查看发现系统空间满了，如下： /dev/xvda1 20G 20G 0G 100% / 然后，通过du --max-depth=1 -h ...
分类：
其他好文 时间：
2016-11-23 07:00:08
阅读次数：
561
一、Hadoop配置安装注意：apache提供的hadoop-2.6.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系######注意######如果你们..
分类：
Web程序 时间：
2016-11-21 20:51:10
阅读次数：
1139
版权声明：本文由王亮原创文章，转载请注明出处: 文章原文链接：https://www.qcloud.com/community/article/214 来源：腾云阁 https://www.qcloud.com/community 现象 长期运营中发现部署了flume集群的磁盘满，经过排查发现flu ...
分类：
Web程序 时间：
2016-11-12 13:50:57
阅读次数：
311
为了和qq空间同步，也写的第四天，前面几天明天会发布，本来打算把每天学的东西记录下来，通过朋友给的建议要发的话稍微系统化下，从大数据需要的linux基础，到离线数据分析包括hadoop、hive、flume、hbase等,再到实时数据分析包括storm、kafka、redias等，最后的内存计算部分 ...
分类：
系统相关 时间：
2016-11-10 03:13:34
阅读次数：
347
Advanced Analytics With Spark.pdf Agile Data Science.pdf Apache Accumulo for Developers.pdf Apache Flume- Distributed Log Collection for Hadoop.pdf Ap... ...
分类：
其他好文 时间：
2016-11-04 17:18:53
阅读次数：
169
