课程介绍 课程名称： 点击流日志分析 1、什么是点击流系统？记录用户在网站上的操作，用户行为轨迹。 2、日志有哪些需要注意的地方，如何采集日志（flume），日志格式，日志包含的信息量（字段） 3、分析什么？ 网址来源，TOPK 客户端流量占比 Android、IOS、..... 网页热力图 课程目 ...
分类：
其他好文 时间：
2018-02-04 14:42:10
阅读次数：
2154
铭文一级： 第8章 Spark Streaming进阶与案例实战 黑名单过滤 访问日志 ==> DStream20180808,zs20180808,ls20180808,ww ==> (zs: 20180808,zs)(ls: 20180808,ls)(ww: 20180808,ww) 黑名单列表 ...
分类：
其他好文 时间：
2018-01-30 12:11:24
阅读次数：
155
铭文一级： 整合Flume和Kafka的综合使用 avro-memory-kafka.conf avro-memory-kafka.sources = avro-sourceavro-memory-kafka.sinks = kafka-sinkavro-memory-kafka.channels ...
分类：
其他好文 时间：
2018-01-26 23:02:49
阅读次数：
206
1、Flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境 上传安装包到数据源所在节点上 然后解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz 然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME 2 ...
分类：
Web程序 时间：
2018-01-26 22:45:03
阅读次数：
241
铭文一级： Flume概述Flume is a distributed, reliable, and available service for efficiently collecting(收集), aggregating(聚合), and moving(移动) large amounts of ...
分类：
其他好文 时间：
2018-01-25 14:19:29
阅读次数：
170
1 流式计算 流式计算：数据实时产生、实时传输、实时计算、实时展示 代表技术：Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储(mysql)。 一句话总结：将源源不断产生的数据实时收集并实时计算，尽可能快的得到计算结 ...
分类：
其他好文 时间：
2018-01-24 12:41:12
阅读次数：
231
hadoop的核心组件：hdfs（分布式文件系统）、mapreduce（分布式计算框架）、Hive（基于hadoop的数据仓库）、HBase（分布式列存数据库）、Zookeeper（分布式协作服务）、Sqoop（数据同步工具）和Flume（日志手机工具） hdfs（分布式文件系统）： 由client ...
分类：
其他好文 时间：
2018-01-20 00:24:52
阅读次数：
604
转载：http://blog.csdn.net/liuxiao723846/article/details/78133375 一、场景一描述： 线上api接口服务通过log4j往本地磁盘上打印日志，在接口服务器上安装flume，通过exec source收集日志，然后通过avro sink发送到汇总 ...
分类：
Web程序 时间：
2018-01-19 16:50:53
阅读次数：
388
1.采集日志文件时一个很常见的现象 采集需求：比如业务系统使用log4j生成日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs中。 1.1.根据需求，首先定义一下3大要素： 采集源，即source—监控日志文件内容更新：exec ‘tail -F file’ 下沉目标，即sink ...
分类：
Web程序 时间：
2018-01-19 16:45:15
阅读次数：
313
[root@alamps TestDir]# cat /usr/local/flume/tmp/TestDir/wc1.txthadoop hive hbasespark stream flumekafka spark sqlstrom python[root@alamps TestDir]# ...
分类：
其他好文 时间：
2018-01-13 16:54:50
阅读次数：
240
