linux学习第十周总结接着上周的mysql，重点终结日志管理，备份还原，主从复制和mysql集群一、mysql日志管理事务日志transactionlog错误日志errorlog通用日志generallog慢查询日志slowquerylog二进制日志binarylog中继日志releylog1.事务日志事务型存储引擎自行管理和使用，建议和数据文件分开存放redologundologInnodb事
分类：
系统相关 时间：
2019-05-14 00:52:23
阅读次数：
212
Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts of log data from many d ...
分类：
Web程序 时间：
2019-05-13 12:39:39
阅读次数：
131
1、flume的特点： flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 flume的数据流由事件(Event)贯穿始终 ...
分类：
Web程序 时间：
2019-05-13 12:38:20
阅读次数：
125
大数据数据仓库-基于大数据体系构建数据仓库（Hive，Flume，Kafka，Azkaban，Oozie，SparkSQL） ...
分类：
数据库 时间：
2019-05-12 13:36:39
阅读次数：
163
为什么使用ELK日志分析：一般我们需要进行日志分析场景：直接在日志文件中grep、awk就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。准备两台测试服务器：Centos7（1），Cento
分类：
其他好文 时间：
2019-05-12 01:01:41
阅读次数：
153
一.大数据组件分类: 1.计算类: hadoop,spark,flink,hive 2.传输类:kafka,flume,redis 3.存储类:hbase,mongodb,Cassandra 4.调度类:zookeeper 5.配置类:mesos,yarn 二.流行的框架SMACK Spark Me ...
分类：
其他好文 时间：
2019-05-10 20:21:59
阅读次数：
160
1.下载Flume源码并导入Idea开发工具 1）将apache-flume-1.7.0-src.tar.gz源码下载到本地解压 2）通过idea导入flume源码 打开idea开发工具，选择File——》Open 然后找到flume源码解压文件，选中flume-ng-hbase-sink，点击ok ...
分类：
Web程序 时间：
2019-05-10 16:34:53
阅读次数：
226
一、定义agent，并运行1、配置文件#计划##收集hive的日志，存到hdfs/opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/logs/hive.log命令：tail -f source：Exec source 在启动时运行一个给定的Unix命令，并期望该进程在标准输出上不... ...
分类：
其他好文 时间：
2019-05-08 14:44:10
阅读次数：
214
. monkey日志管理 adb shell monkey –v –v 100 >d:\monkeylog.log保存到本地要保存在手机的话，首先需要进入adb shell然后在运行monkey +目标路径（通常在sdcard下保存）错误流和标准流日志文件分开保存：adb shell monkey ...
分类：
其他好文 时间：
2019-05-08 10:58:42
阅读次数：
128
1. 开发前准备 1.1 前置知识 java基础自定义注解、反射 Spring aop SpringBoot简单基础知识即可 1.2 环境参数 开发工具：IDEA 基础环境：Maven+JDK8 所用技术：SpringBoot、lombok、mybatisplus、 Spring aop Sprin ...
分类：
编程语言 时间：
2019-05-02 23:19:28
阅读次数：
145
