3种解决办法 https://tech.meituan.com/mt-log-system-arch.html 4 架构设计考虑 下面将从可用性，可靠性，可扩展性和兼容性等方面，对上述的架构做细致的解析。 4.1 可用性(availablity) 对日志收集系统来说，可用性(availablity) ...
分类：
Web程序 时间：
2017-10-26 20:01:47
阅读次数：
389
https://flume.apache.org/FlumeUserGuide.html 【测试模拟】 a1.sources.r1.type = exec a1.sources.r1.command = tail -F /opt/data/access.log 【生产】 ...
分类：
其他好文 时间：
2017-10-26 19:52:08
阅读次数：
120
https://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/index.html Kafka 与 Flume 很多功能确实是重复的。以下是评估两个系统的一些建议： Kafka 是一个通用型系统。你可以有许多的生产者和消费者分享多个主题。相 ...
分类：
Web程序 时间：
2017-10-26 18:10:54
阅读次数：
152
1.安装JDK参考jdk的安装，此处略。2.安装Flume2.1.下载Flume下载地址：http://flume.apache.org/download.html点击链接：apache-flume-1.7.0-bin.tar.gz下载。2.2.解压安装包$tarzxvfapache-flume-1.7.0-bin.tar.gz2.3.将安装文件移动到安装目录$cp-rapache-flume-1.7.0-bin/so..
分类：
Web程序 时间：
2017-10-25 23:36:31
阅读次数：
236
目标是第二年能得到8K以上的待遇。 要求熟练使用Hadoop生态圈技术（hive,hbase,spark,impala,sqoop,scala/python/shell,kafka,flume,gobblin,hdfs,zookeeper），然后是能树仓，精通sql的调优，会算法。 不会的有点多哈。 ...
分类：
其他好文 时间：
2017-10-24 17:21:39
阅读次数：
209
Flume 与 Kakfa结合例子（Kakfa 作为flume 的sink 输出到 Kafka topic） 进行准备工作： 编辑 flume的配置文件： $ cat /home/tester/flafka/spooldir_kafka.conf # Name the components on t ...
分类：
Web程序 时间：
2017-10-23 21:51:39
阅读次数：
611
[Flume]使用 Flume 来传递web log 到 hdfs 的例子： 在 hdfs 上创建存储 log 的目录： $ hdfs dfs -mkdir -p /test001/weblogsflume 指定log 输入的目录：$ sudo mkdir -p /flume/weblogsmidd ...
分类：
Web程序 时间：
2017-10-22 00:22:29
阅读次数：
244
Flume是Cloudera提供的日志收集系统，具有分布式、高可靠、高可用性等特点，对海量日志采集、聚合和传输，Flume支持在日志系统中制定各类数据发送，同时，Flume提供对数据进行简单处理，并写到各种数接受方的能力。其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDF ...
分类：
Web程序 时间：
2017-10-18 16:11:43
阅读次数：
307
Spark Streaming 是core Spark的一个扩展，用来处理实时数据流，数据源可以来自Kafka, Flume, HDFS等，经过复杂的算法处理后，存入HDFS，数据库，或者实时的Dashboards. 从内部来看，Spark Streaming把进来的流式数据切成一小块一小块，然后再 ...
分类：
其他好文 时间：
2017-10-13 10:14:41
阅读次数：
160
https://yq.aliyun.com/articles/50487?spm=5176.100239.blogcont43566.18.uawbnY ...
分类：
Web程序 时间：
2017-10-12 19:19:21
阅读次数：
202
