1、hbase数据flush过程 1）当MemStore数据达到阈值（默认是128M，老版本是64M），将数据刷到硬盘，将内存中的数据删除，同时删除HLog中的历史数据； 2）并将数据存储到HDFS中； 3）在HLog中做标记点。 2、数据合并过程 1）当数据块达到4块，hmaster将数据块加载到 ...
分类：
其他好文 时间：
2020-11-17 11:47:51
阅读次数：
3
Scraoy入门实例一 Scrapy介绍与安装&PyCharm的安装&项目实战 一、Scrapy的安装 1.Scrapy介绍 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说,网络抓 ...
分类：
Web程序 时间：
2020-11-02 10:39:55
阅读次数：
47
原因分析 为了防止数据库持续增大，Zabbix有自动删除历史数据的机制，即housekeeper，而在频繁清理历史数据的时候，MySQL数据库可能出现性能降低的情况，此时就会告警。 一般来说，Zabbix都会监控Zabbix Server本身。如下所示，我们可以分析“Zabbix server: U... ...
分类：
其他好文 时间：
2020-09-04 17:34:53
阅读次数：
58
问题描述 zabbix server 平稳运行有一段时间了，但是最近问题却来了，今天早上收到zabbixserver磁盘空间不足的告警。通过查看之后发现是大部分数据是zabbix 库的的数据 在进一步查看发现是history表和history_uint数据太多导致磁盘占用过多。 问题分析 histo ...
分类：
其他好文 时间：
2020-08-24 15:15:48
阅读次数：
54
线上Zabbix监控服务器DB采用的是MySQL一主一从。监控历史数据公司要求保留2年，历史数据相关的表做了表分区，过期数据自动删除。随着线上Zabbix监控设备数的不断增加，服务器磁盘空间增长的很厉害，3.7T的磁盘空间目前已经用了3.3T。尝试用pt-online工具压缩数据表，由于历史数据没有主键不能压缩。最后考虑把Zabbix历史相关的数据表由Innodb引擎转换成TokuDB引擎从而来减
分类：
数据库 时间：
2020-07-31 12:34:18
阅读次数：
103
Prometheus是目前最流行的监控软件，它配置灵活，性能强悍，查询功能强大且简单，尤其在容器监控领域，可以说是最佳选择。但它也有几个缺点：没有高可用，不支持横向扩缩容，历史数据归档保留等。为了解决上述问题，目前主要有两个方案Thanos和Cortex.两个软件功能都很强大，但Cortex是基于remotewrite来实现的，需要修改现在的prometheus存储方式，而且相对于Thanos，C
分类：
其他好文 时间：
2020-07-24 23:50:20
阅读次数：
301
在实际工作过程中，有时因为生产环境已有历史数据原因，需要测试环境数据id从某个值开始递增，此时，我们需要修改数据库中自增ID起始值， 下面以MySQL为例，表名：users; 建表时添加 create table users(id int auto_increment primary key,666 ...
分类：
数据库 时间：
2020-07-16 21:38:29
阅读次数：
87
今天老师开了个会，对毕设做了安排，老师推荐我们做知识图谱方面的内容，所以我去网上查阅了相关的资料，先进行了简单的了解。 人们想要机器可以像人一样进行逻辑分析，那么知识图谱就是旨在解决这一类问题。 通过对历史数据的处理，赋予机器处理信息的能力。 下面摘自知乎：https://zhuanlan.zhih ...
分类：
其他好文 时间：
2020-07-08 22:44:58
阅读次数：
96
一、数据概述 数据字段：量价数据（如开盘价、最低价、最高价、成交量、成交额、总市值等）、财务数据（如净利润TTM、现金流TTM、净资产、总资产、总负债、净利润（当季）等）、另类数据（主要是资金流入流出数据，如中户资金买入额、中户资金卖出额等） 注：对股票量化投资来说，财务数据是非常重要的 数据的排序 ...
分类：
其他好文 时间：
2020-07-01 12:27:16
阅读次数：
112
用户希望将历史数据迁移到OSS上的用户目标存储桶。需要迁移的源数据可能来自某个OSS桶，也可能来自本地或第三方云存储(例如AWS S3，Azure Blob，腾讯云COS，七公牛，百度BOS，云，金山KS3)。等等，HTTP等。
分类：
其他好文 时间：
2020-06-24 16:35:39
阅读次数：
75
