网站日志分析项目案例（一）项目介绍：当前页面 网站日志分析项目案例（二）数据清洗：http://www.cnblogs.com/edisonchou/p/4458219.html 网站日志分析项目案例（三）统计分析：http://www.cnblogs.com/edisonchou/p/446434 ...
分类：
Web程序 时间：
2017-11-03 13:06:48
阅读次数：
261
网站日志分析项目案例（一）项目介绍：http://www.cnblogs.com/edisonchou/p/4449082.html 网站日志分析项目案例（二）数据清洗：http://www.cnblogs.com/edisonchou/p/4458219.html 网站日志分析项目案例（三）统计分 ...
分类：
Web程序 时间：
2017-11-03 12:57:48
阅读次数：
225
需要做的任务是将上图类似的格式的文件进行处理，将年月日小时分别提取出来放到每行的行尾（上图已清洗好） 自己的思路是先用cut命令将每行的年月日小时提取出来，分别给一个变量，然后再循环利用sed命令将年月日小时复制到行尾 实现起来感觉有问题，因为sed命令不熟，sed -i不知道能不能实现 简单了解一 ...
分类：
系统相关 时间：
2017-11-01 13:42:08
阅读次数：
238
以前爬的数据量都有点少了，所以现在写个爬全站数据爬虫来，用redis进行URL的去重处理，采用mysql储存清洗过后房产数据，采用线程池来进行调度，进行多线程爬取 下面是房天下所有地区二手房和新房的URL，为后续爬取提供起始URL： ...
分类：
Web程序 时间：
2017-10-29 17:43:23
阅读次数：
464
1、离线计算是什么？ 离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示 代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、***任务调度 1，hivesql 2、调度平台 3、Hadoop集群运维 4、数据清洗（脚本语言） ...
分类：
其他好文 时间：
2017-10-19 00:18:55
阅读次数：
282
利用数据挖掘技术进行在线学习行为研究的一般流程 流程：数据收集，数据预处理，应用数据挖掘方法，解释评估应用。 数据收集：一般有在线学习平台自动完成。 数据预处理：是对数据进行清洗并转换成适合数据挖掘的形式的过程。主要包括数据清洗，数据转换和丰富，数据整合以及数据归约等任务。 数据挖掘方法：分类，聚类 ...
分类：
其他好文 时间：
2017-10-15 18:02:05
阅读次数：
156
题目描述 John的农场在给奶牛挤奶前有很多杂务要完成，每一项杂务都需要一定的时间来完成它。比如：他们要将奶牛集合起来，将他们赶进牛棚，为奶牛清洗乳房以及一些其它工作。尽早将所有杂务完成是必要的，因为这样才有更多时间挤出更多的牛奶。当然，有些杂务必须在另一些杂务完成的情况下才能进行。比如：只有将奶牛 ...
分类：
其他好文 时间：
2017-10-08 22:41:14
阅读次数：
238
空间轨迹是一个(x,y)点的序列,每个点都有一个时间戳.因为轨迹通常是由传感器测量的,所以它们不可避免地会出现一些错误，需要对数据进行平滑化处理。 此外，司机绕路或者交通事故也会导致轨迹数据出现偏离，这时候我们需要对轨迹数据进行异常检测。 数据平滑化处理 过滤技术进行为了演示,我们用一个GPS记录器 ...
分类：
其他好文 时间：
2017-10-07 20:47:13
阅读次数：
1217
材料： 新鲜秋葵 盐 食用油 青辣椒 红辣椒 蒜 生抽 醋 1、去掉秋葵头部和尾部，放入清水中清洗干净后，对半切； 2、锅内水烧开后，放入切好的秋葵，放入适量盐，再次煮沸后3-5分钟； 3、捞出煮好的秋葵，摆盘，放上事先剁好的辣椒，蒜蓉，姜蓉，少许盐，醋，生抽； 4、放适量油到锅里，烧热后直接浇在3 ...
分类：
其他好文 时间：
2017-09-20 19:37:21
阅读次数：
108
最近看了看公司的导入,清洗,同步数据。想自己也实现下 首先用SqlBulkCopy批量导入，然后用Partition by对要删除的数据进行分组，然后删除ID>1的数据。同步数据就是对源数据进行查询，然后批量更新目标数据。 我用MVC实现了下，代码实现如下: 前台代码 后台代码 DBUtility数 ...
分类：
其他好文 时间：
2017-09-15 13:37:57
阅读次数：
187
