一、实时业务指标分析
1.业务
业务:
订单系统---->MQ---->Kakfa--->Storm
数据:订单编号、订单时间、支付编号、支付时间、商品编号、商家名称、商品价格、优惠价格、支付金额
统计双十一当前的订单金额,订单数量,订单人数
订单金额(整个网站,各个业务线,各个品类,各个店铺,各个品牌,每个商品)
2.整合flume思路
flume官网也是对应的kafka的sink配置与讲解:http://flume.apache.org/FlumeUserGuide.html#kafka-sink
(网上的一些例如brokelist等配置已经被标记为deprecated,请参照官网的最新属性配置)
将采集的日志文件保存到kafka中
(source) 输入:tail -F xxxx.log
(channel)存储:内存
(sink) 输出:kafka
config
al.source = s1
a1.channel = c1
al.sink = k1
source ==> exec tail -F xxxx.log
channel ==> RAM
sink ====> xxx.xxxx.xxxx.KafkaSink //该类必须存放lib目录
sink.topic = orderMq
sink.itcast = itcast