一、安装环境 1、本机系统：Windows 10 Pro（64位） 2、Node.js：v6.9.2LTS（64位） 二、安装Node.js步骤 1、下载对应你系统的Node.js版本:https://nodejs.org/en/download/ 2、选安装目录进行安装 3、环境配置 4、测试 三 ...
创建a2.conf文件并且编写 Sources 类型是exec 配置文件如下 启动集群 启动flume 产生临时文件 ...tmp 关闭临时文件 再次写入文本，会再次产生一个临时文件。截图左边是一个内容输入和时间对照 从时间上看出大概是30s会关闭这个文件。 在hdfs 上查看内容 以上根据自己的理 ...
分类：
Web程序 时间：
2020-01-10 16:01:33
阅读次数：
111
测试的大版本号为5.7，小版本为5.7.24，默认是没有开启binlog的 修改 ，新增两个配置： 测试的表和数据： 重启MySQL，发现多了两个 打头的文件，使用MySQL命令查询： + 使用 查看二进制文件信息： + 使用 查看当前正在写入的binlog文件： + 使用 查看binlog记录的事 ...
分类：
数据库 时间：
2020-01-08 23:14:21
阅读次数：
108
系统架构介绍 整个实时监控系统的架构是先由 Flume 收集服务器产生的日志 Log 和前端埋点数据, 然后实时把这些信息发送到 Kafka 分布式发布订阅消息系统，接着由 Spark Streaming 消费 Kafka 中的消息，同时消费记录由 Zookeeper 集群统一管理，这样即使 Kaf ...
分类：
其他好文 时间：
2020-01-07 11:44:25
阅读次数：
100
第一周 深度学习的实用层面 1.1 训练，配置，测试训练集 学习完如何构建神经网络,接下来学习如何高效运行神经网络 数据集划分: train,dev,test: 在train中训练模型,利用dev选择最佳模型,利用test测试最终模型 ...
分类：
其他好文 时间：
2019-12-29 11:05:03
阅读次数：
108
Flume采集的控制台提示：The channel is full or unexpected failure. The source will try again after 1000 ms 这个是因为当前被采集的文件过大，深层的原因是文件采集的速度和sink的速度没有匹配好。所以应该可以通过增大 ...
分类：
其他好文 时间：
2019-12-28 22:41:20
阅读次数：
335
1）Source中使用拦截器 kafka_key.sources.sources1.interceptors = i1kafka_key.sources.sources1.interceptors.i1.type = com.bigdata.flume.MyInterceptor$Builder k ...
分类：
Web程序 时间：
2019-12-28 22:35:37
阅读次数：
181
grafana部署配置测试grafana官网地址1.helm部署grafana部署很简单,见下[root@k8s-node1prometheus-grafana]#helminstallstable/grafana--generate-nameNAME:grafana-1577432108LASTDEPLOYED:FriDec2715:35:112019NAMESPACE:defaultSTATU
分类：
其他好文 时间：
2019-12-28 09:38:10
阅读次数：
359
监控利器prometheushelm方式部署配置测试1.部署helm部署helm参考方法后面使用helm部署grafana和prometheus,因此首先需要部署helm,保证helm能正常使用.部署helm客户端过程见下:[root@k8s-node1helm]#curlhttps://raw.githubusercontent.com/helm/helm/master/scripts/get-
分类：
其他好文 时间：
2019-12-25 22:18:39
阅读次数：
237
Flume和 Sqoop Sqoop简介 Sqoop是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具 原理: 将导入或导出命令翻译成Mapreduce程序来实现。 在翻译出的Mapreduce中主要是对InputFormat和OutputFormat ...
分类：
Web程序 时间：
2019-12-21 22:39:42
阅读次数：
187
