一、Scrapy简介与部署环境Scrapy是一个为了爬取网站数据，提取结构性数据而编写的第三方爬虫框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。最初是为了页面抓取(更确切来说,网络抓取)所设计的，也可以应用在获取API所返回的数据(例如AmazonAssociates..
分类：
系统相关 时间：
2017-10-24 16:05:46
阅读次数：
1464
组员 白至幸 ：201421122116 洪灏捷 ：201321122020 项目地址 Coding.net：https://git.coding.net/hoje/The-GUI-operation.git 需求分析 测试结束后将对错总数存入文件 程序开启时从文件中读取历史数据 实时显示答题时间 ...
分类：
其他好文 时间：
2017-10-22 22:22:09
阅读次数：
123
基于Solr的淘宝商家交易数据实时查询方法 https://www.tuicool.com/articles/m2EzQnJ 京东一元抢宝系统的数据库架构优化 http://blog.csdn.net/bestlove12345/article/details/51956748 ...
分类：
其他好文 时间：
2017-10-19 21:21:09
阅读次数：
413
随着业务的不断增长，最近一段需要对大量的历史数据整理，而在整理过程中有一张表的数据需要把其中一张表中一个不唯一的字段的列作为唯一字段在新表中而其中相关联的字段全部存入同一条记录中，刚刚开始想了一会，到后来在得知GROUP_CONCAT函数就可以解决，作用是在使用聚合函..
分类：
数据库 时间：
2017-10-19 09:22:49
阅读次数：
181
见过很多人搞不清楚数据仓库和数据集市的区别，下面是我见过的最好的关于“什么是数据仓库”的回答： “数据仓库是一种关系数据库模式，其中保存了来自一个或者多个源数据库的历史数据和元数据。数据仓库的目的是便于将数据的报告和分析汇总到多个层次。” 或者更简单点： “一个存放企业各个领域的数据的单独且有组织的 ...
分类：
其他好文 时间：
2017-10-18 21:43:32
阅读次数：
164
在线数据迁移一般分为四个步骤：一，上线双写，即同时写入新旧两种数据；二，历史数据离线搬迁，即离线将历史存量数据从旧系统搬到新系统；三，切读，即将读请求路由到新系统；四，清理沉淀，包括清理旧的数据，回收资源，及清理旧的代码逻辑，旧的配套系统等等，将迁移过程中的经验教训进行总结沉淀，将过程中开发或使用的 ...
分类：
数据库 时间：
2017-10-17 12:29:30
阅读次数：
161
1、如果你为Liz开发问题账户分析系统，你准备如何进行需求分析，第一步要做什么？ 第一步要做需求调研，获取用户所描述的需求，进行统计分析，确定出用户大致的功能需求。 2、你认为目前需求分析材料中欠缺哪些内容？ 缺少判定为问题账户的确定规则，以及具体要依据的数据，而且所要依据历史数据进行评判的规则 3 ...
分类：
其他好文 时间：
2017-10-16 09:51:27
阅读次数：
115
1、如果你为Liz开发问题账户分析系统，你准备如何进行需求分析，第一步要做什么？ 第一步要做需求调研，获取用户所描述的需求，进行统计分析，确定出用户大致的功能需求。 2、你认为目前需求分析材料中欠缺哪些内容？ 缺少判定为问题账户的确定规则，以及具体要依据的数据，而且所要依据历史数据进行评判的规则 3 ...
分类：
其他好文 时间：
2017-10-15 14:21:44
阅读次数：
123
那天和朋友聊天，当然，像我们这些做股票软件的人必然是聊股票。 当前那么多分析软件，其实对于炒股的人而言绝大多数是无效的。 比如我吧，买股票就关心那么几支，反复买卖。 所以，可以简单的计算一下这些股票的历史数据，炒股就是炒概率，既然这样，每天的走势也无非是一种概率计算。 算几千支或更多比较费时费力，算 ...
分类：
其他好文 时间：
2017-10-13 00:27:34
阅读次数：
90
这个问题没有找到合适的答案，最终自己想出了一个解决方案，在此记录下。 问题描述 在将老的eclipse项目重构为maven项目时，我这边是新建了一个maven项目，然后将对应的数据分别放到相应的位置，最终maven项目改造成功，但是在重新连接svn的时候，maven项目中的所有文件都是无管理状态，也 ...
分类：
系统相关 时间：
2017-10-11 21:53:41
阅读次数：
214
