数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
-x停止服务-d卸载-i安装-s启动服务cdC:\zabbix_agents\bin.\zabbix_agentd.exe-c..\conf\zabbix_agentd.conf-x.\zabbix_agentd.exe-c..\conf\zabbix_agentd.conf-d.\zabbix_agentd.exe-c..\conf\zabbix_agentd.conf-i.\zabbix_ag
1，kafka包含3个组件：source、channel、sink source：1.7以上的版本提供了 TaildirSource，支持断点续传，1.6前的版本，需要自己开发程序，存储flume读取的文件位置，以便后续接着读取数据。 channel： FileChannel：数据存储在磁盘上，稳定 ...
分类：
Web程序 时间：
2020-06-17 11:20:34
阅读次数：
72
scribe_百度百科 https://baike.baidu.com/item/scribe flume（日志收集系统）_百度百科 https://baike.baidu.com/item/flume/6250098 Kafka（科技术语）_百度百科 https://baike.baidu.com ...
分类：
其他好文 时间：
2020-06-16 20:48:33
阅读次数：
58
不同的视频APP可能和不同公司的ADX有股份关系，甚至，有的视频APP做大了，可以用自己的ADX，那从app到ADX的数据可以直接对接，否则就要有合作，然后ADX对接广告投放引擎 广告投放引擎（也就是媒体服务器）对接多个媒体的数据， （从广告投放引擎，怎么将数据Flume到hdfs，这个不清楚） 这 ...
分类：
其他好文 时间：
2020-06-14 23:24:11
阅读次数：
133
安装环境：CenterOS 7.8 FreeSwitch版本：1.10.12 编译安装完后，打开了CallCenter模块，无论怎么样队列中的话机都不响。。。 显示队列中有可用座席，就是不转。 这是默认示例： <agents> <!--<agent name="1000@default" type= ...
分类：
其他好文 时间：
2020-06-13 14:31:44
阅读次数：
216
Hadoop权威指南 第四版 大数据越来越热。Hadoop技术是大数据技术的基础。 掌握了大数据技术，就意味着可以轻松找到高薪工作。 人工智能、机器学习都是基于大数据。 There are new chapters covering YARN (Chapter 4), Parquet (Chapte ...
分类：
其他好文 时间：
2020-06-13 10:25:14
阅读次数：
618
网络服务NEUTRON概述 一、NEUTRON架构 OpenStack的网络服务neutron是整个OpenStack中最复杂的一个部分，它的基本架构是一个中心服务（neutron-server）外加各种plugins和agents，使用不同的network provider（网络提供者，如Linu ...
分类：
其他好文 时间：
2020-06-12 12:21:46
阅读次数：
48
SinkProcessor共 有 三 种 类 型 ， 分 别 是DefaultSinkProcessor 、LoadBalancingSinkProcessor 和 FailoverSinkProcessor。DefaultSinkProcessor 对 应 的 是 单 个 的 Sink ， Loa ...
分类：
Web程序 时间：
2020-06-08 18:47:07
阅读次数：
80
概念 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 模型 a)Source：采集组件，用于跟数据源对接，以获取数据 b)Sink：下沉组件，用于往下一级agent传递数据或者往最终存储系统传递数据 c)Channel：传输通道组件，用于从source将数据传递到sink ...
分类：
Web程序 时间：
2020-06-07 21:04:35
阅读次数：
67
