需求：采集8类日志数据，并且进入es展示： 方案制定：目前数据采集通用flume+kafka模式，所以采用原有模式，一类服务进入一个topic，然后通过logstash进行数据清洗，最后进入es进行展示。 flume采用tadir 读取数据源，memory 进行缓存，kafka进行sink a1.s ...
分类：
Web程序 时间：
2020-06-26 22:29:32
阅读次数：
81
django 默认时区设置 在Django的配置文件settings.py中，有两个配置参数是跟时间与时区有关的，分别是TIME_ZONE和USE_TZ 如果USE_TZ设置为True时，Django会使用系统默认设置的时区，即America/Chicago， 此时的TIME_ZONE不管有没有设置 ...
分类：
其他好文 时间：
2020-06-26 20:10:27
阅读次数：
49
ELKR 概述 ELK(R) = Elasticsearch + Logstash + Kibana (+ Redis) 是一套完整的工业级日志分析工具。 Elasticsearch 是整个日志分析系统的核心，它负责对日志数据进行分析、索引等重要工作； Logstash 则主要用于对日志数据进行初步 ...
分类：
其他好文 时间：
2020-06-26 18:13:31
阅读次数：
74
常用 1. ip （1）ipv4 4字节，因此可用一个int存储 INET_ATON('127.0.0.1') ip字符串转数字 INET_NTOA(xx) 数字转ip字符串 （2）ipv6 16字节，需要两个bigint 2. unix时间戳 UNIX_TIMESTAMP() 以unix时间戳返回 ...
分类：
数据库 时间：
2020-06-26 12:48:33
阅读次数：
65
在连接数据库配置都没错，jar包也有，但是还是报 Could not create connection to database server.错误,那是因为mysql8.0版本的使用的数据库连接字符串不一样，而且还对时区有要求，引用下面的连接即可 url: jdbc:mysql://localho ...
分类：
数据库 时间：
2020-06-25 23:05:47
阅读次数：
137
##datetime ###时间获取与转换 datetime.datetime.now() #获取本地时区当前时间对象 datetime.datetime.utcnow() #GMT 零时区当前时间对象 datetime.datetime.now(datetime.timezone(datetime ...
分类：
编程语言 时间：
2020-06-25 15:35:07
阅读次数：
69
安装logstash 第一步：下载 wget https://artifacts.elastic.co/downloads/logstash/logstash-7.6.1.tar.gz 第二步：解压即安装 tar -zxvf logstash-7.6.1.tar.gz 第三步：启动，并测试标准输入和 ...
分类：
系统相关 时间：
2020-06-25 14:11:19
阅读次数：
259
Metricbeat介绍 Metricbeat是一种轻量级的托运人，可以将其安装在服务器上，以定期从操作系统和服务器上运行的服务收集指标。Metricbeat会收集它收集的度量标准和统计信息，并将其运送到指定的输出，例如Elasticsearch或Logstash。 Metricbeat通过从服务器 ...
分类：
其他好文 时间：
2020-06-25 13:37:38
阅读次数：
138
1. 安装web server（略） 注意系统时间/时区 ntp server是否定时同步 2. 安装 mysql 5.7 （略） 安装成功后 2.1 编辑 my.ini 文件在 [mysqld] 下面添加以下内容 [mysqld] collation_server = utf8mb4_unicod ...
分类：
其他好文 时间：
2020-06-24 19:31:37
阅读次数：
192
Unix时间戳(Unix timestamp)，或称Unix时间(Unix time)、POSIX时间(POSIX time)，是一种时间表示方式，定义为从格林威治时间1970年01月01日00时00分00秒起至现在的总秒数。 Unix时间戳不仅被使用在Unix 系统、类Unix系统中，也在许多其他 ...
分类：
其他好文 时间：
2020-06-24 14:19:42
阅读次数：
97
