一 Zabbix简介 1.1 概述 Zabbix是一个企业级的高度集成开源监控软件,提供分布式监控解决方案。可以用来监控设备、服务等可用性和性能。 1.2 所支持监控方式 目前由zabbix提供包括但不限于以下事项类型的支持 Zabbix agent checks #这是客户端来进行数据采集,又分为 ...
分类:
其他好文 时间:
2020-02-03 12:08:23
阅读次数:
101
一 监控架构 1.1 组成 客户端:数据采集部分 服务端:数据存储分析告警展示 1.2 采集模式 被动模式:服务器端到客户端采集数据,对服务器的开销较大,适合小规模的监控环境。 主动模式:客户端主动上报数据到服务器端,对服务器的开销较小,适合大规模的监控环境。 1.4 协议 专用客户端采集 公用协议 ...
分类:
其他好文 时间:
2020-02-03 11:40:36
阅读次数:
93
common.js 1.基于代码重用的目的,方便在页面中调用; 2.跟普通的js包含文件并没有其他不一样,主要是一些js经常用到的函数,或者字符串、数组方法的简单扩展; 3.封装的兼容性的方法。【polyfill"腻子" 和 shim。polyfill针对浏览器,标准说的;shim可能在浏览器上支持 ...
分类:
Web程序 时间:
2020-01-28 10:50:18
阅读次数:
91
一、Tushare介绍 Tushare是一个免费、开源的python财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工到数据存储的过程,能够为金融分析人员提供快速、整洁、多样的便于分析的数据,使得数据获取方面极大地减轻工作量,更加专注于策略和模型的研究和实现。 Tushare从新浪财经、腾 ...
分类:
其他好文 时间:
2020-01-26 00:47:55
阅读次数:
854
服务端数据采集 客户端数据采集 巧用nginx https://blog.csdn.net/chen45682kang/article/details/81334654 巧用parse server ...
分类:
其他好文 时间:
2020-01-24 17:11:14
阅读次数:
69
先给出答案: 需要结合具体使用的source、channel和sink来分析,具体结果可看本文最后一节。 Flume事务 ====================== 一提到事务,我们首先就想到的是MySQL中的事务, 事务就是将一批操作做成原子性的 ,即这一批要么都成功,要么都失败。 同样的道理, ...
分类:
Web程序 时间:
2020-01-24 00:14:47
阅读次数:
972
业务场景:需求:通过flume进行数据采集,将本地(windows服务器)不断产生的csv文件采集到hdfs上。问题:本地文件在生成的过程中,会出现文件名重复的现象。也就是说,在前一秒生成文件名为aaa.csv,该文件经过flume进行处理之后会进行文件名的更改,默认情况下文件名会更改为aaa.cs... ...
分类:
Web程序 时间:
2020-01-23 09:14:02
阅读次数:
290
web表单是web应用程序的基本功能。 它是HTML页面中负责数据采集的部件。表单有三个部分组成:表单标签、表单域、表单按钮。表单允许用户输入数据,负责HTML页面数据采集,通过表单将用户输入的数据提交给服务器。 在Flask中,为了处理web表单,我们一般使用Flask-WTF扩展,它封装了WTF ...
分类:
Web程序 时间:
2020-01-21 21:36:34
阅读次数:
91
为什么我们放弃Zabbix采用Prometheus? https://mp.weixin.qq.com/s/Ul5f4xcHvTShOF9smHHUjQ 闫晓宇 51CTO技术栈 1周前 “ 2017 年以前,我们运维体系的监控主要还是以 Zabbix 作为主流的解决方案。当时数据库这部分的监控服务 ...
分类:
其他好文 时间:
2020-01-20 09:31:25
阅读次数:
81
前言消息中间件的可靠性消息传递,是消息中间件领域非常重要的方案落实问题(在这之前的MQ理论,MQ选型是抽象层次更高的问题,这里不谈)。并且这个问题与日常开发是存在较大的关联的。可以这么说,凡是使用了MQ的,机会都要考虑这个问题。当然也有一些原始数据采集,日志数据收集等应用场景对此没有过高要求。但是大多数的业务场景,对此还是有着较高要求的。比如订单系统,支付系统,消息系统等,你弄丢一条消息,嘿嘿。网
分类:
其他好文 时间:
2020-01-17 09:21:18
阅读次数:
66