一、使用jdbc 配置多数据源 1.yml数据源配置 2.配置类 3.测试类 二、使用mybatis 配置多数据源 1.yml数据源配置 2.prom.xml配置 3.测试类 第二种mybatis 配置方法可参考 https://mp.baomidou.com/guide/dynamic-datas ...
分类：
编程语言 时间：
2019-10-10 14:08:53
阅读次数：
107
概述 Apache Flume是一个分布式，可靠且可用的系统，用于高效地收集，汇总和将来自多个不同源的大量日志数据移动到集中式数据存储。Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮 ...
分类：
Web程序 时间：
2019-10-10 10:30:27
阅读次数：
114
第一步 ：配置测试号，网页授权获取用户基本信息。 该授权回掉页面域名为ngrok 映射的域名，我的映射地址是127.0.0.1：8080。 到此微信配置完毕，接下来就是直接上代码了 2.用户同意授权 我是把这个url写在微信菜单下的，当进入这个页面的时候就让用户同意。注意：好像是静默授权的，用户不知 ...
分类：
微信 时间：
2019-10-06 22:07:17
阅读次数：
145
大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下： ...
分类：
其他好文 时间：
2019-10-06 16:48:10
阅读次数：
114
Photo by Janke Laskowski on Unsplash 参考书籍：《Flume构建高可用、可扩展的海量日志采集系统》 ——Hari Shreedharan 著 以下简称“参考书籍”，文中部分资料和图片会标注引用自书中。官方文档简称“官文”。 文章为个人从零开始学习记录，如有错误，还 ...
分类：
Web程序 时间：
2019-10-03 22:02:35
阅读次数：
136
1.1.1 下载sqoop1：sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz1.1.2 解压并查看目录： 1.2 配置sqoop——mysql连接器：下载mysql-connector-java-8.0.16.jar，并将其拷贝至sqoop安装目录下的lib文件夹里1.3 ...
分类：
其他好文 时间：
2019-10-02 12:20:46
阅读次数：
109
参见 HDP2.4安装(五)：集群及组件安装 ，安装配置的spark版本为1.6, 在已安装HBase、hadoop集群的基础上通过 ambari 自动安装Spark集群，基于hadoop yarn 的运行模式。 目录： Spark集群安装 参数配置 测试验证 Spark集群安装： 在ambari ...
分类：
其他好文 时间：
2019-10-02 01:00:23
阅读次数：
123
Ganglia 由 gmond、gmetad 和 gweb 三部分组成。 gmond（Ganglia Monitoring Daemon）是一种轻量级服务，安装在每台需要收集指标数据的节点主机上。使用 gmond，你可以很容易收集很多系统指标数据，如 CPU、内存、磁盘、网络和活跃进程的数据等。 g ...
分类：
Web程序 时间：
2019-10-01 18:34:26
阅读次数：
146
一、配置 1、Java配置：JAVA_HOME路径不要有空格 2、下载/kafka_2.11-1.1.0，地址是https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.0/kafka_2.11-1.1.0.tgz，并解压缩至C:\1000_Stud ...
Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。 Sink 是完全事务性的。 在从 Channel 批量删除数据之前，每个 Sink 用 Channel 启动一个事务。 批量事件一旦成功写出到存储系统或 ...
分类：
Web程序 时间：
2019-10-01 09:59:54
阅读次数：
102
