为什么使用ELK日志分析：一般我们需要进行日志分析场景：直接在日志文件中grep、awk就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。准备两台测试服务器：Centos7（1），Cento
分类：
其他好文 时间：
2019-05-12 01:01:41
阅读次数：
153
很多人都知道大数据很火，就业很好，薪资很高，想往大数据方向发展。但该学哪些技术，学习路线是什么样的呢？ 其实就是想告诉你的大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。请不要问我哪个好学，哪个钱多。 先说一下大数据的4V特征： 数据量大，TB->PB 数据 ...
分类：
其他好文 时间：
2019-05-10 12:42:14
阅读次数：
125
一.安装celery 模块 ① ②在windows系统运行时安装 eventlet 模块 运行时输入代码: ③ 在其他系统运行时 二.celery 异步任务 1.消费者中(s1.py) 2.生产者中(s2.py) from s1 import myfun1,myfun2,myfun3,cfrom c ...
分类：
其他好文 时间：
2019-05-09 00:56:13
阅读次数：
161
Ubuntu服务器/var/log下没有cron日志，这里记录一下如何ubuntu server如何查看crontab日志 crontab记录日志修改rsyslogsudo vim /etc/rsyslog.d/50-default.confcron.* /var/log/cron.log #将cr ...
分类：
系统相关 时间：
2019-04-29 11:00:09
阅读次数：
160
命令格式：命令关键字 选项 参数 ls -l /etc (find /etc --name password)帮助命令：man help info cd 切换目录 cd .. cd- 绝对路径：从根目录 /etc/passwd 相对路径：从当前目录 ./ ../ [root@localhost ~] ...
分类：
系统相关 时间：
2019-04-24 11:56:29
阅读次数：
203
条件主要包含：Filter，Pattern，Crontab以及Time Period Filter主要就是对属性值的过滤，比如： Pattern是复杂事件流的代表，比如说“A事件到达后跟着B事件到达”这是一个完整的Pattern。Pattern是Esper里面很特别的东西，并且用它描述复杂的事件流是 ...
分类：
其他好文 时间：
2019-03-26 18:14:30
阅读次数：
218
打开nginx.conf配置文件： 日志部分内容： 日志生成的到Nginx根目录logs/access.log文件，默认使用“main”日志格式，也可以自定义格式。 默认“main”日志格式： 参数明细表： $remote_addr 客户端的ip地址(代理服务器，显示代理服务ip) $remote_ ...
分类：
其他好文 时间：
2019-03-21 20:03:32
阅读次数：
142
crontab： * * * * * [user] command分 时 日 月 周 [用户] 命令 第1列表示分钟0～59 每分钟用*或者 */1表示第2列表示小时0～23（0表示0点）第3列表示日期1～31第4列表示月份1～12第5列标识号星期0～7（0或7表示星期天）第6列要运行的命令 -e ...
分类：
其他好文 时间：
2019-03-16 12:19:52
阅读次数：
179
mkdir /data/scriptsvim /data/scripts/nginx_log.sh #!/bin/bashlogs_path="/usr/local/nginx/logs/"mv ${logs_path}access.log ${logs_path}access_$(date -d ...
分类：
其他好文 时间：
2019-03-12 12:11:25
阅读次数：
183
关于linux系统下CRONTAB运行python脚本不生效运维中难免会在定时任务中同时使用shell和python脚本，shell脚本不生效大部分为环境变量的问题，在脚本前增加环境变量基本能解决，如加上source/etc/profile。最近遇到python脚本不能执行的情况，状态描述，如目录/home/script/SH下有脚本Qdd.py和download.sh，手动是可以执行的是生效的，
分类：
编程语言 时间：
2019-03-12 12:04:47
阅读次数：
440
