标签：
|
规则：模仿我们发现问题后先检查数据库主从同步是否有问题的习惯
|
|
天机系统发现成单金额或验证券数或短信发送条数环比大幅下降后，启动检查规则，
自动逐一检查各种从库的主从同步情况。
如果发现主从延迟超过阈值，则天机 DashBoard 应浮出两条红色警告提示（可点击进入）：
如果发现主从同步失败导致了同步停止，则应浮出两条红色警告提示（可点击进入）：
|
|
数据库拓扑关系
|
|
在监控系统里登记了 DB 的IP和分组后，其实已经可以探测到 DB 之间的主从关系（包括级联关系）了，能自动绘制出登记的所有数据库服务器之间的关系。举例如下：
 图2 自动绘制数据库拓扑
|
Graphite 是一个企业级的监控工具，用 Python 编写，采用 django 框架，sqlite 数据库存储，自有简单文本协议通讯，绘图功能强大。最初由 Chris Davis 在 Orbitz 工作时，作为一个辅助项目开发的，最终成了一个监控基础工具，如他所言，Graphite provides real-time visualization and storage of numeric time-series data，重点解决：
严格地说，Graphite 只是一个根据数据绘图的工具，数据收集通常由第三方工具或插件完成，它自带了 carbon 和 whisper，还可根据其协议选用别的数据源供其绘图。官方描述，预计用 Ceres 替代 Whisper。
图4 graphite图例
简单的文本协议和强大的绘图功能使得它可以方便地扩展到任何需要监控的系统上。豆瓣、Google、GitHub、Instagram、Uber等公司都用它。
3.3.CollectD
C语言开发的 collectd 是一个较为古老的工具，像 statsd 一样它也做周期性收集统计数据，collectd 还管数据存储。它能够通过插件支持检测各种各样的系统信息，如数据库、UPS。
要想查看 collectd 收集的信息，还需要安装 web 界面或者 Cacti，于是工作模式就是：
collectd 作为守护进程运行，每隔 10 秒收集信息，而 Cacti 每隔5分钟运行一个 PHP 脚本来收集信息（两者的时间间隔可配置）。
3.5.Grafana
grafana 则类似 ES Kibana 的可视化面板，有着非常漂亮的图表和布局，目前支持 Graphite、Influxdb 和 Opentsdb） + influxdb（分布式时序、事件和指标数据库）等配搭。
http://监控系统域名/db/createImage/target/%5B%22stats.timers.mysql.172_16_999_991-3306.com_select_persecond.upper%22%2C%22stats.timers.mysql.172_16_999_992-3306.com_select_persecond.upper%22%2C%22stats.timers.mysql.172_16_999_993-3306.com_select_persecond.upper%22%5D/from/-1hour.html?width=492&n=0.8623758849623238
图10 graphite 逻辑图
图11 Graphite 数据流转图
[default_1min_for_1day]
pattern = .*
retentions = 10s:1d[stats]
pattern = ^stats.*
retentions = 10s:1d,30s:7d,1m:28d,15m:5y[business_monitoring]
pattern = ^business_monitoring\.
retentions = 1m:5y#研发解决方案介绍#基于StatsD+Graphite的智能监控解决方案
标签：
原文地址：http://www.cnblogs.com/zhengyun_ustc/p/55solution9.html
