1前言分布式数据库已经成为许多金融级大型企业基础数据平台的一个核心组成部分，承担着，在线交易，数据中台，历史数据管理，非结构化影像平台等多个重要业务的支撑工作。不同于传统的应用/数据库一对一的部署方式，新一代数据平台使用一个统一的存储，对接着上层几十甚至上百个不同的应用，这种情况下，不同应用之间对于资源的调度会成为系统是否能够正常对外提供服务的重要因素。但是在像数据中台、历史数据平台这类应用中，对
分类：
数据库 时间：
2020-04-26 10:42:16
阅读次数：
70
有许多工程师在使 TI的AM335x系列CPU时会出现UBIFS错误的问题，TI官方也没有给出太好的解决方案。飞凌嵌入式就以上问题进行了深入研究。
在长期稳定性的测试中发现，NandFlash总是有可能会发生读写错误，导致分区变化为只读分区。由于在实际应用中，NandFlash分区存储的为历史数据信息，所以希望在NandFlash读写错误后不修改为只读状态，理解是UBIFS本身的机制导致它会出现这种错误。
分类：
其他好文 时间：
2020-04-24 14:35:41
阅读次数：
121
超融合集群无故障运行超过500天，从历史数据看，CPU资源绰绰有余，内存耗费较多，以后分配得精打细算。ceph分布式去中心化存储，每个osd（单盘）耗费大约5g的内存，如果一个物理服务器插8个单盘做osd的话，40g的内存就没了。因此，需要在硬盘存储容量、成本、性能与内存使用上做平衡:用容量大的，性性价比高的sas盘。例如，用10000转2.4t的盘4块，就比用15000转600g的盘（同等容量要
分类：
其他好文 时间：
2020-04-24 01:31:16
阅读次数：
184
背景： 公司内部的一个系统实现的时候用了分表，方案是开源的ShardingSphere 分表算法使用了100取模，100张表嗯嗯数据量太大，对于历史数据还使用了定时任务迁移。这些架构设计会在另一篇文章详谈。 故障： 某日，数据库告警，cup报警，发现多条慢查询日志（部分查询高达8分钟...），进而导 ...
分类：
数据库 时间：
2020-04-23 18:56:15
阅读次数：
76
原文：https://www.jianshu.com/p/4e72b22edf49 1、数据仓库与数据库 数据仓库是数据库概念的升级，和数据库相比，数据仓库要比数据库更加庞大； 数据仓库主要用于分析数据，数据库主要用于捕获数据； 数据仓库主要存储历史数据，数据库存储在线交易数据； 数据仓库的基本元素 ...
分类：
其他好文 时间：
2020-04-21 18:09:21
阅读次数：
49
机器学习简介 机器学习是一类算法的总称，这些算法企图从大量历史数据中挖掘出其中隐含的规律，并用于预测或者分类，更具体的说，机器学习可以看作是寻找一个函数，输入是样本数据，输出是期望的结果，只是这个函数过于复杂，以至于不太方便形式化表达。需要注意的是，机器学习的目标是使学到的函数很好地适用于“新样本” ...
分类：
其他好文 时间：
2020-04-21 13:22:46
阅读次数：
275
1 提供历史数据，暂时不提供实时数据 2 5,15,60分钟历史数据齐全，但是date 是“yyyy-mm--dd”格式，缺少分钟信息 3 open，close，high，low 数据是文本格式，不能直接使用 4 query_history_k_data_plus() 获取的结果res，使用方法ge ...
分类：
其他好文 时间：
2020-04-19 22:33:28
阅读次数：
374
背景： 1）需要将yarn queue user的资源使用展示出来 2）数据已经存储在mysql里，需要过滤后插入到influxdb 3）由于历史数据比较多，用户的CPU、内存的数据分别有200万 分析： 1）查询mysql中m_bizhadoop_yarn_queue_userinfo的表中查询出 ...
分类：
数据库 时间：
2020-04-05 20:45:21
阅读次数：
387
量化交易简介 一、什么是量化交易 量化交易(Quantitative trading) 量化交易是借助现代统计学和数学的方法，利用计算机技术来进行投资交易的证券投资方式。 量化交易是从庞大的历史数据中海选能带来超额收益的多种“大概率”事件以制定策略，用数量模型验证及固化这些规律和策略，然后严格执行策 ...
分类：
其他好文 时间：
2020-04-01 10:53:35
阅读次数：
107
MySQL分区表概述 随着MySQL越来越流行，Mysql里面的保存的数据也越来越大。在日常的工作中，我们经常遇到一张表里面保存了上亿甚至过十亿的记录。这些表里面保存了大量的历史记录。 对于这些历史数据的清理是一个非常头疼事情，由于所有的数据都一个普通的表里。所以只能是启用一个或多个带where条件 ...
分类：
其他好文 时间：
2020-03-31 17:12:59
阅读次数：
78
