Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) ...
分类：
其他好文 时间：
2019-03-01 19:57:52
阅读次数：
259
一、编写计算历史数据的经验熵函数 In [1]: from math import log def calcShannonEnt(dataSet): numEntries = len(dataSet) labelCounts = {} for elem in dataSet: #遍历数据集中每条样本 ...
分类：
编程语言 时间：
2019-02-25 16:37:39
阅读次数：
218
大数据量的查询，不仅查询速度非常慢，而且还会导致数据库经常宕机（刚接到这个项目时候，数据库经常宕机o(╯□╰)o）。 那么，如何处理上亿级的数据量呢？如何从数据库经常宕机到上亿数据秒查？仅以此篇文章作为处理的总结。 数据背景：下面是存放历史数据表的数据量，数据量确实很大，3亿多条。但这也仅仅是测试数 ...
分类：
数据库 时间：
2019-02-15 15:19:57
阅读次数：
430
7.1 规划成本管理 成本管理计划 7.2 估算成本 成本估算等级：粗略量级估算：-25%到+75%；预算估算：-10%到+25%；确定性估算：-5%到10% 工具与技术： 1.专家判断 2.类比估算（类似项目） 3.参数估算（历史数据的统计关系和其他变量） 4.自下而上的估算 5.三点估算：贝塔分 ...
分类：
其他好文 时间：
2019-02-02 17:23:55
阅读次数：
200
一、初窥Scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 其最初是为了页面抓取(更确切来说,网络抓取)所设计的， 也可以应用在获取API所返回的数据(例如Amazon Associates Web S... ...
分类：
其他好文 时间：
2019-01-20 15:11:44
阅读次数：
221
EXCEL时间序列分析-指数平滑法 指数平滑法是从移动平均法发展而来的，是一种改良的加权平均法，在不舍弃历史数据的前提下，对离预测期较近的历史数据给予较大的 权数，权数由近到远按指数规律递减。 指数平滑法根据本期的实际值和预测值，并借助于平滑系数α进行加权平均计算，预测下一期的值。它是对时间序列数据... ...
分类：
其他好文 时间：
2019-01-18 10:16:44
阅读次数：
258
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) ...
分类：
其他好文 时间：
2019-01-14 20:23:02
阅读次数：
113
所有的项目都会有日志，日志文件是用于记录系统操作事件的记录文件或文件集合，可分为事件日志和消息日志。具有处理历史数据、诊断问题的追踪以及理解系统的活动等重要作用。这节描述如何用springboot记录日志。 记录日志的方法 一般记录日志的方法有两种 Commons logging： SLF4J: 这 ...
分类：
编程语言 时间：
2019-01-12 22:45:45
阅读次数：
226
数字资产量化交易是从传统的股市交易里转变过来的，大体上是差不多的，只不过交易的物品变成了数字资产。量化交易的特点就是为了避免人的情绪影响交易，用更科学、客观的大数据分析量化交易。它可以是通过计算机从历史数据中分析出大概率事件去交易，也可以人工执行。量化交易有几大特性：1.系统性。在制定量化交易策略的时候，需要从全方位考虑交易品种、交易频率、投资周期、对冲机制、异常处理、资金容量、市场流动性、冲击成
分类：
其他好文 时间：
2019-01-12 18:02:14
阅读次数：
204
数据仓库是一个databas旨在实现商业智能活动：旨在帮助用户了解和增强其组织的绩效。它专为查询和分析而不是事务处理而设计，通常包含从事务数据派生的历史数据，但可以包含来自其他来源的数据。数据仓库将分析工作负载与事务工作负载分开，并使组织能够合并来自多个源的数据。这有助于：维护历史记录分析数据以更好地了解业务并改善业务除了关系数据库之外，数据仓库环境还可以包括提取，传输，转换和加载（ETL）解决方
分类：
其他好文 时间：
2019-01-11 11:29:30
阅读次数：
202
