1.安装：要是说到爬虫，我们不得不提一个大而全的爬虫组件/框架，这个框架就是scrapy：scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。那么我们直接进入正题，先说说这个框架的两种安装方式： 第一种：windows环 ...
分类：
其他好文 时间：
2019-01-06 19:21:32
阅读次数：
190
zabbix历史数据相关表研究 history和trends相关表 history和trends都是存储历史数据的地方。一般是通过监控项(item)配置里、匹配更新监控项(item)和设置HouseKeeper tasks来设置保留数据的时长。 Housekeeper 会定期删除过期的数据。如果不是 ...
分类：
其他好文 时间：
2019-01-02 12:45:59
阅读次数：
161
随着区块链技术的不断发展，数字资产应用的广泛。量化交易也被采用在了区块链技术上面，目前相对来说想要做量化交易，就需要有专业的团队来进行科学的操盘。也需要有专业的系统平台来承载，然后对接各大平台的交易数据进行专业的操作。那么什么是量化交易呢？量化交易，就是将人的投资思想规则化、变量化、模型化，形成一整套完整、可量化的操作思路，并且这个思路可以用历史数据进行分析验证，在交易阶段可以由计算机自动执行的一
分类：
其他好文 时间：
2018-12-27 15:33:31
阅读次数：
117
在TCX_1706项目中在历史数据库备份及历史数据查询的功能，历史数据包括历史采集数据查询和历史产品数据查询两个 在项目中如何查询历史库的历史表呢？ 第一步：在配置文件中添加历史库的链接字符串 第二步：（控制器中无区别）在实现类中操作数据库的方法进行修改，有原先的this.DbContext改为th ...
分类：
Web程序 时间：
2018-12-25 20:22:22
阅读次数：
205
官网 http://logio.org/ log.io是运行在node.js之上的 可通过浏览器访问服务器日志 类似于tail -f命令 它只负责实时传输数据 而不会去存储历史数据 npm install -g log.io --"root" 安装log.io npm --registry http ...
分类：
其他好文 时间：
2018-12-24 02:37:39
阅读次数：
187
（一）背景介绍zabbix是一个大型的分布式的监控系统，监控的范围比较广，是目前比较流行的监控系统，但是由于自身的原因，历史数据不能持久保存，如果数据库的数据大于100G左右查询或其他的速度会非常的慢，会触发很多问题，一般的zabbix历史数据会不超过一个月（按实际获得的数据比例计算），我们一般保存七天。一般为了业务的需要，往往会需要很长的历史数据来进行查看和排查问题，这就需要使zabbix的历史
分类：
其他好文 时间：
2018-12-14 19:33:02
阅读次数：
185
<!-- flowchart 箭头图标 勿删 --> 引言： 验证表明：mongo-connector工具支持MongoDB与ES之间的实时增insert、删delete、改update操作。 对于历史数据，mongo-connector工具不能同步到ES中，根因是本身工具不支持(初步界定），还是没 ...
分类：
数据库 时间：
2018-12-14 13:02:20
阅读次数：
402
原理知识小结 1、聚焦网络爬虫，由于其需要有目的地进行爬去，所以对于通常网络爬虫来说，必须要增加目标的定义和过滤机制，具体来说，此时，其执行原理和过程需要比通常网络爬虫多出3步，即目标的定义、无关连接的过滤、下一步要爬取得url地址的选取。 2、常见的网页更新主策略主要有3种:用户体验策略、历史数据 ...
分类：
其他好文 时间：
2018-12-12 15:43:47
阅读次数：
212
数字资产交易所量化交易简单来说就是用程序代替人来决定。利用计算机技术从庞大的历史数据中选出能带来超额收益的多种“大概率”事件以此来制定策略，从而减少投资者情绪波动的影响，避免在市场极度狂热或悲观的情况下作出非理性的投资决策。经常有一些交易所用户容易被市场和情绪所影响判断，量化交易是用大数据分析制定策略，减少感性操作，减少操盘失误，尽量避免一失足成千古恨的后悔心理。量化交易并不是数字资产交易领域的原
分类：
其他好文 时间：
2018-12-10 18:22:38
阅读次数：
220
数据可视化是什么？ The main goal of data visualization is its ability tovisualize data, communicating information clearly and effectively.— Vitaly Friedman 数据可 ...
分类：
其他好文 时间：
2018-12-08 11:19:09
阅读次数：
386
