初窥Scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 还是先推荐几个学习的教程：Scrapy 0.25文档 Scrapy快速入门教程这些教程里面有关于Scrapy的安装，创建项目，爬取实例等...
分类：
编程语言 时间：
2016-01-25 19:34:57
阅读次数：
306
原题链接在这里：https://leetcode.com/problems/pascals-triangle-ii/与Pascal's Triangle相似。用上一行作为历史记录算下一行，因为需要使用前面的历史数据，所以要从后往前更新res.Time Complexity: O(n^2). It d...
分类：
其他好文 时间：
2016-01-05 18:20:30
阅读次数：
143
历史数据迁移到分表的。（以前单表几十G的表，需要做优化分表）背景：之前项目因为历史原因使用的是mssql，其中有大量的各种log表，需要完整地迁移到mysql的按照日期分表的分表里。由于数据量大和表当初设计的一些缺陷，所以在迁移的时候要考虑查询效率和执行效率问题。我采用的方式如下：每一个表一个fun...
分类：
其他好文 时间：
2016-01-01 18:58:49
阅读次数：
284
Rafy 框架又添新成员：幽灵插件。本文将解释该插件的场景、使用方法、原理。 场景 在开发各类数据库应用系统时，往往需要在删除数据时不是真正地删除数据，而只是把数据标识为‘已删除’状态。这些数据在业务逻辑上是已经完全删除、不可用的数据，但是不能在数据库中真正的把它们删除，而是需要永久保留这些历史数据...
分类：
其他好文 时间：
2015-12-29 19:26:51
阅读次数：
149
【案例实战】餐饮企业分店财务数据分析系统解决方案：系统功能开发建设目的某餐饮集团需要将每个分店的财务状况进行分析，目前使用的是excel来存储查看各区域的收入情况,每个区域各年月的收入情况汇总数据都是通过多sheet的方式展示，由于此餐饮集团是一个比较大型的餐饮集团，很多区域都有分店。所以，单是针对收入情况，就需要做很多个excel来进行收入情况汇总存储。这样导致查询历史数据非常麻烦、不利于数据的...
分类：
其他好文 时间：
2015-12-16 15:45:30
阅读次数：
228
页面浏览量查询api网站排名、流量、访问量、页面浏览量查询，获取指定站点历史数据。接口名称：页面浏览量查询api接口平台：开源接口接口地址：http://api2.juheapi.com/alexa/historical支持格式：json请求方式：get/post请求示例：http://api2.j...
本文根据一些经验数据提供在线聊天服务一个典型的场景：学生的数据，每天早上在设置Hive用户行为数据的基于历史数据的计算，通过工具将数据推HBase，通过业务合作伙伴RPC Service获取用户行为数据总体架构watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv...
分类：
其他好文 时间：
2015-12-09 15:15:19
阅读次数：
249
利用MySQL数据库如何解决大数据量存储问题？各位高手您们好，我最近接手公司里一个比较棘手的问题，关于如何利用MySQL存储大数据量的问题，主要是数据库中的两张历史数据表，一张模拟量历史数据和一张开关量历史数据表，这两张表字段设计的很简单（OrderNo，Value，DataTime）。基本上每张表...
分类：
数据库 时间：
2015-12-03 15:37:25
阅读次数：
228
统计各项原材料的采购情况、供应商供货情况、应付款情况，通过对比各个供应商的供货条件，分析供应商的友好程度，给供应商之间引入竞争机制，从而发现最优的合作伙伴。此次项目主要是针对传化化学品的需求，对采购模块进行综合统计分析，目的是通过对历史数据的分析，从中发现有价值的信息，以辅助领导进行决策、给以业务员实时的提醒。...
分类：
其他好文 时间：
2015-11-30 11:38:06
阅读次数：
161
应收款数据模块主要从区域、账龄、部门这几个维度对比分析应收账款情况，便于实时了解未回笼资金，提醒相关人员催缴款项。此次项目主要是针对传化化学品的需求,对应收款进行综合统计分析，目的是通过对历史数据的分析，从中发现有价值的信息，以辅助领导进行决策、给以业务员实时的提醒。...
分类：
其他好文 时间：
2015-11-27 10:59:37
阅读次数：
171
