防伪码：真理不需色彩，美丽不需涂饰
一、监控概述：
·初级：
·1.识别监控对象 （分级）
·2.理解监控对象 （理论基础）
·3.细分监控对象的指标
·4.确定告警的基准线
·预中级：
1. 工具化和监控分离
2. 监控对象的分类：
2.1 硬件监控 （方法：机房巡检、IPMI、SNMP简单网络管理协议、）
2.2 系统监控 （对象：cpu、内存、IO【磁盘、网络】）
2.3 服务监控 （对象：分类服务）
2.4 日志监控 （方法：Elastic Stack）
2.5 网络监控 （方法： 第三方、Smokeping）
2.6 APM应用性能管理 （工具：pinpoint APM）
2.7 流量监控 （工具：Piwik、xx统计、xx分析）
2.8 其他监控 （APP监控、安全监控、业务监控、舆论监控、xx监控等）
3. 掌握一个监控工具。例如：zabbix
·中级：
0.标准化监控（标准化的脚本、模板、....）
1. 分布式监控 （主动、被动、分布式）
2. 自动化监控 （自动发现、主动注册【Agent主动注册、Server主动添加（API）】）
3. 性能优化 （数据采集、数据存储、数据查询）
4. 二次开发 （定制报表、API调用、）
·进阶：（精通到放弃）
1. 告警阈值动态化
2. 智能告警：【1.告警去重 2.依赖】
3. 故障自愈 （事件驱动、主动控制）
4. 大规模告警
硬件监控：
1. 机房巡检
2. 通过网络来巡检
例如：DELL 通过iDRAC口监控
HP 通过ILO
IBM 通过IMM
由于每个厂商不一样可以通过IPMI协议来统一管理。
IPMI简介：
Ipmitool是一种可用在linux系统下的命令行方式的ipmi平台管理工具，它支持ipmi
1.5规范（最新的规范为ipmi2.0），通过它可以实现获取传感器的信息、显示系统日志内容、网络远程开关机等功能。
Ipmitool有两种使用方式：
安装IPMI
Zabbix自带IPMI
yum install OpenIPMI ipmitool systemctl start ipmi
安装ipmitool管理工具：
详细安装配置请参考网站：
https://www.ibm.com/developerworks/cn/linux/l-ipmi/index.html
建议通过以上IPMI网址安装配置。
通过SNMP来管理：
基于SNMP监控
安装略
使用方法
查看cpu负载
snmpget -v2c -c admin 192.168.56.11 .1.3.6.1.4.1.2021.10.1.3.1 UCD-SNMP-MIB::laLoad.1 = STRING: 0.00 snmpwalk -v2c -c admin 192.168.56.11 .1.3.6.1.4.1.2021.10.1.3 UCD-SNMP-MIB::laLoad.1 = STRING: 0.00 UCD-SNMP-MIB::laLoad.2 = STRING: 0.01 UCD-SNMP-MIB::laLoad.3 = STRING: 0.05
监控宝 SNMP安装：（环境CentOS 7 ）
1. CentOS SNMP安装：
安装net-snmp
yum install net-snmp net-snmp-devel net-snmp-utils
说明：net-snmp-devel是为了使用net-snmp-config, net-snmp-utils是为了使用snmpwalk。
配置 Net-SNMP
CentOS下的net-snmp无法在selinux环境下正常使用v3。 如果您想使用snmp v3，请先禁用selinux。
net-snmp-config --create-snmpv3-user -ro -A snmp@jiankongbao -a MD5 jiankongbao
以上命令，创建一个snmpv3用户，只读，使用MD5，用户名为jiankongbao，密码为snmp@jiankongbao。
注意：运行之前请先停用net-snmp服务。
停止snmpd服务
service snmpd stop
运行Net-SNMP
运行 Net-SNMP 服务的方法比较简单，不过Net-SNMP服务的名字是snmpd
service snmpd start
加入开机自启动运行服务列表：
chkconfig snmpd on
检测 Net-SNMP
可以使用 snmpwalk 来检测snmp服务是否正常开启。
snmpwalk -v 3 -u jiankongbao -a MD5 -A "snmp@jiankongbao" -l authNoPriv 127.0.0.1 sysDescr
如果一切正常，就会返回正常结果。
配置 防火墙
Net-SNMP 使用 udp 协议，161端口。
可以实现对mysql监控、Apache监控、Lighttpd监控、Nginx监控等等。
例如：
mysql监控：
先创建mysql的权限，需要在被监控的mysql服务器上为监控宝创建一个专用的mysql用户，这样做的好处是：
与您的其它MySQL用户进行有效隔离，独立管理。
对该用户进行受限管理，不需要给予任何MySQL权限。
指定监控宝的访问IP地址，阻止其它非法访问。
操作非常简单，在MySQL中操作如下：
CREATE USER ‘jiankongbao‘@‘60.195.252.106‘ IDENTIFIED BY ‘your_password‘; CREATE USER ‘jiankongbao‘@‘60.195.252.108‘ IDENTIFIED BY ‘your_password‘; # CREATE USER ‘jiankongbao‘@‘60.195.249.83‘ IDENTIFIED BY ‘your_password‘;
注意：防火墙安全。在MySQL或者防火墙中指定授权IP地址的时候，请只开放我们指定的IP地址，而不要直接开放整个C类网段，比如60.195.252.0/24，因为该网段中其它服务器不在我们的可控范围内。
Apache 监控：
需要开启status模块，修改httpd.conf文件。
添加如下：
ExtendedStatus On <Location /server-status> SetHandler server-status Order deny,allow Deny from all Allow from 60.195.252.106 60.195.252.108 # Allow from 60.195.249.83 </Location>
也可以设置受限访问设置：在配置文件中，修改<location /server-status>一行。
Lighttpd 监控
Lighttpd的状态监控依赖于mod_status模块，幸运的是，Lighttpd缺省已经内置了mod_status模块，我们要做的就是打开配置文件lighttpd.conf，开启这个模块，也就是删除模块前边的“#”注释符，比如：
server.modules = ( # "mod_rewrite", # "mod_redirect", # "mod_alias", "mod_access", # "mod_trigger_b4_dl", # "mod_auth", "mod_status", "mod_fastcgi", "mod_accesslog" )
然后，在lighttpd.conf中找到以下部分：
#### status module status.status-url = "/server-status"
默认情况下以上语句是被注释的，同样，删掉注释符，保存配置文件，重启lighttpd。
Nginx监控：
默认情况下不包含状态stub_status,所以编译时添加参数，然后再nginx.conf中开启状态页面。
Windows SNMP安装：
http://blog.jiankongbao.com/?p=185
详细请参考
http://wiki.jiankongbao.com/doku.php/%E6%96%87%E6%A1%A3:%E5%AE%89%E5%85%A8%E6%8C%87%E5%BC%95
系统监控：
CPU：
进程：每一个进程，至少有一个线程。
每个进程可以有多个线程。
（单CPU单核），进程的内存空间是共享的，每个线程可以使用这些共享。提供协调 机制，防止进程之间和线程之间产生冲突，另一方面允许进程之间和线程之间共享资源。
在linux系统中用top命令查看到用户态和内核态，为什么会有用户态和内核态？
0为内核态
3为用户态
CPU监控指标：中断/使用率/cpu负载/上下文切换/僵死进程的监控、最大进程的运行 数量、
Top uptime vmstat mpstat lscpu
CPU负载：单位时间内运行队列中就绪等待的进程数平均值。
内存：
虚拟内存（linux管理的是虚拟内存）、swap、物理内存，linux管理虚拟内存
内存是分页的，内存页默认每页是4K
Free –m查看内存时，剩余内存需要查看available列
total used free shared buff/cache available Mem: 977 102 514 6 360 714 Swap: 2047 0 2047
优化内存
echo "0" > /proc/sys/vm/swappiness cat /sys/block/sda/queue/scheduler
IO：
Iftop -n 不解析域名 -i 指定网卡名 –P 显示端口名
iftop -i eth0 -F 192.168.56.0/24
Nethogs
Iotop
负载均衡器一定要监控tcp状态
以下是链接以及工具
http://www.ruanyifeng.com/blog/2013/04/processes_and_threads.html http://os.51cto.com/art/201012/240476.htm http://www.cnblogs.com/cutepig/p/3403711.html http://elf8848.iteye.com/blog/2089055 yum -y install nethogs yum –y install iotop yum –y install iftop yum –y install sysstat
网络监控：
检测工具：
http://ping.chinaz.com/
开源工具：SmokePing 支持分布式
zabbix部署
1. 什么是zabbix
Zabbix是一个分布式开源的监控系统，支持多种采集方法，使它几乎可以采集和处理所有类型的监控数据；灵活的报警机制，可以实现各种的自定义报警策略，强大的拓展性，可以自定义监控项、图形、模板，还支持自动注册和自动发现，使它可以快速构建一套大型的监控系统，还有丰富的API接口。
其他监控系统cacti、nagios、MangeEngine_ApplicationsManager,lepus，smokeping，piwiki等选zabbix的理由：简单、高效、灵活
安装zabbix前需准备环境：
时间同步：
yum -y install ntpdate
设置计划任务：crontab -e
echo ‘* * * * * /usr/sbin/ntpdate ntp1.aliyun.com &>/dev/null‘ >>/var/spool/cron/root
查看计划任务：
crontab -l
1. 设置主机名解析
cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.152.142 zabbix-server
2.安装 EPEL 仓库和常用命令
rpm -ivh http://mirrors.aliyun.com/epel/epel-release-latest-7.noarch.rpm yum install -y net-tools vim lrzsz tree screen lsof tcpdump
注意：如果epel源不能使用，请自行切换其他yum源，本次安装zabbix-server不需要网络，但是，由于选择的是基础环境安装，需要安装的工具包。
5.更新系统并重启
yum update -y && reboot
安装部署zabbix 3.0 LTS
Zabbix 3.0的安装
软件版本要求：
http 1.3.12
Php 5.4.0（不支持php7.0）
Mysql 5.0.3
Zabbix 3.0版本不支持php v7版本。入选用php v7 选择使用zabbix 3.2
安装YUM源。
[root@localhost Desktop]# rpm -ivh http://mirrors.aliyun.com/zabbix/zabbix/3.0/rhel/7/x86_64/zabbix-release-3.0-1.el7.noarch.rpm
在/etc/yum.repo下形成一个zabbix.repo文件
[root@localhost ~]# ll /etc/yum.repos.d/ total 40 -rw-r--r--. 1 root root 1664 Nov 30 02:12 CentOS-Base.repo -rw-r--r--. 1 root root 1309 Nov 30 02:12 CentOS-CR.repo -rw-r--r--. 1 root root 649 Nov 30 02:12 CentOS-Debuginfo.repo -rw-r--r--. 1 root root 314 Nov 30 02:12 CentOS-fasttrack.repo -rw-r--r--. 1 root root 630 Nov 30 02:12 CentOS-Media.repo -rw-r--r--. 1 root root 1331 Nov 30 02:12 CentOS-Sources.repo -rw-r--r--. 1 root root 2893 Nov 30 02:12 CentOS-Vault.repo -rw-r--r--. 1 root root 957 Dec 28 01:37 epel.repo -rw-r--r--. 1 root root 1056 Dec 28 01:37 epel-testing.repo -rw-r--r--. 1 root root 401 Feb 15 2016 zabbix.repo
打开zabbix.repo文件yum源是指向国外的官网的，为了访问方便，建议把yum源地址改为阿里云的源
修改yum源指向阿里源：
baseurl=http://mirrors.aliyun.com/zabbix/zabbix/3.0/rhel/7/$basearch/ baseurl=http://mirrors.aliyun.com/zabbix/non-supported/rhel/7/$basearch/
查看zabbix安装包：
yum list | grep zabbix
安装zabbix包
yum -y install zabbix-server-mysql zabbix-web-mysql
安装数据库：
yum -y install mariadb mariadb-server
启动mariadb服务并设置开机自启动。
systemctl enable mariadb.service systemctl start mariadb.service
要想使用补全命令可以安装epel源的包。
yum install bash-comp* -y
初始化数据库：
mysql_secure_installation
设置数据库密码：
mysqladmin -u root password
进入数据库：
mysql -uroot -p
创建数据库，并设置字符集为Utf-8
create database zabbix character set utf8 collate utf8_bin;
授权数据库：
grant all privileges on zabbix.* to zabbix@‘localhost‘ identified by ‘123.Com‘;
打开导入数据库并验证zabbix数据库：
zcat /usr/share/doc/zabbix-server-mysql-3.0.8/create.sql.gz|mysql -uzabbix -p123.Com zabbix
注意：zcat是一个查看命令。
设置web界面：
vim /etc/httpd/conf/httpd.conf
更改ServerName
启动web服务：
systemctl restart httpd.service systemctl enable httpd.service
配置zabbix-server，设置配置文件中添加密码：
vim /etc/zabbix/zabbix_server.conf
启动zabbix-server服务：
systemctl start zabbix-server.service
注意：
Zabbix端口号10051
Zabbix的web配置文件默认安装再/etc/httpd/conf.d/
连接php的配置文件默认安装再/etc/httpd/conf.d/
关闭NetworkManager和防火墙：
systemctl disable firewalld systemctl disable NetworkManager
4. 关闭并确认 SELinux 处于关闭状态
vim /etc/sysconfig/selinuxSELINUX=disabled #修改为 disable setenforce 0 getenforce
注意：不注意防火墙或者NetworkManager和selinux会导致zabbix启动了却web界面里还是显示zabbix 未启动。
进入web界面安装zabbix
输入http://zabbix服务器地址/zabbix/setup.php进入，根据向导安装。更改时区
修改/etc/httpd/conf.d/zabbix.conf中的一行：
php_value date.timezone Asia/Shanghai把这一行的注释去掉地点改为上海。
Asia/Shanghai
更改完毕后，重启httpd.service服务。
这是安装zabbix的向导安装的第一步：
这是安装zabbix的向导安装的第二步
可以看到时间地点已经更改成功了！
下一步设置连接数据库的用户密码等：
下一步设置命名：
下一步：
安装zabbix：
输入用户密码，进入zabbix界面。
默认的用户：Admin 密码：zabbix
进入了zabbix的界面：
由于只安装了zabbix，并没有配置zabbix配置
修改zabbix配置文件：
vim /etc/zabbix/zabbix_server.conf
修改配置文件中的DBPassword=这一行并把注释去掉！
重启zabbix-server服务并设置开机自启动
下面再看一下zabbix界面NO变成了YES.
显示zabbix已经正常启动！
如果zabbix到达瓶颈可以进行拆分。
/etc/zabbix/web/zabbix.conf.ph在这个文件中配置拆分。
要想让zabbix监控自己，需要安装一个zabbix-agent 可以监控自己本身。依赖openssl
修改zabbix-agent配置文件
vim /etc/zabbix/zabbix_agentd.conf
可以配置主动和被动
启动zabbix-agent服务：
systemctl start zabbix-agent
可以看到如下zabbix server主机hosts
点击红色位置启用zabbix server
看到已启动！
Zabbix主动模式和被动模式：
理论：
被动模式流程，被动模式一定要记得设置Server ＝ ServerIP
被动模式工作流程:
Server 打开一个TCP连接
Server发送一个key 为agent.ping
Agent接受这个请求，然后响应< HEADER >< DATALEN >
Server对接受到的数据进行处理
TCP连接关闭
主动模式流程：主动模式一定要记得设置ServerActive=ServerIP
Agent向Server建立一个TCP连接
Agent请求需要检测的数据列表
Server响应Agent，发送一个Items列表
Agent允许响应
TCP连接完成本次会话关闭
Agent开始周期性地收集数据
安装第二台agent：
安装agent服务：
rpm -ivh zabbix-agent-3.0.5-1.el7.x86_64.rpm
启动并设置开机自启
systemctl start zabbix-agent.service
systemctl enable zabbix-agent.service
Zabbix添加监控主机：
在configuration中选择hosts：
如果Groups没有可以NEW一个，然后ip地址填写agent的ip，添加完毕后不要add，
还需要添加Templates模板之后再按add（在这里选择Template OS Linux模板）
截图如下：
可以看见host主机添加成功：
发现添加的主机ZBX为红色，报错如下：
Received empty response from Zabbix Agent at [192.168.0.106]. Assuming that agent dropped connection because of access permissions.
解决办法：修改agent的配置文件：
vim /etc/zabbix/zabbix_agentd.conf
修改为Server=（zabbix server的ip地址）
Server=192.168.152.142
重启zabbix-agent服务：
systemctl restart zabbix-agent.service
可以看到如下图红色变为了绿色，问题解决了！
使用zabbix-get：
安装zabbix-get服务：
yum install -y zabbix-get
测试方法：
例如：
zabbix_get -s linux-node2.example.com -k agent.ping
只能取zabbix agent类型
查看本机有多少内置key
zabbix_agentd -p
zabbix网址：
本文出自 “一盏烛光” 博客，谢绝转载！
原文地址：http://yw666.blog.51cto.com/11977292/1906047
