基于python对淘宝模特个人信息进行筛选爬取，数据清洗，持久化写入mysql数据库.使用django对数据库中的数据信息筛选并生成可视化报表进行分析。数据爬取，筛选，存库：#-*-coding:utf-8-*-
importrequests
frombs4importBeautifulSoup
importsys
importre
reload(sys)
sys.set..
分类：
编程语言 时间：
2017-08-04 09:58:03
阅读次数：
328
做爬虫，当然就要用数据。想拿数据进行分析，首先清洗数据。这个清洗数据包括清除无用数据列和维度，删除相同数据，对数据进行勘误之类的。 从各大不同新闻网站可以爬到重复新闻。。。这个可以有。之前为了对爬到的新闻信息进行深度挖掘去了这个网站http://blog.reetsee.com/archives/2 ...
分类：
编程语言 时间：
2017-07-31 19:53:27
阅读次数：
190
牌恶意竞争很大，避免不了遭受DDOS等恶意攻击，游戏被打死了玩家都到别家玩了。感觉到很无力！ 到底怎么抗呢？ 福州网络贴身定制解决方案，几G 几十G 甚至几百G攻击都没问题谈钱不伤感情，价格够 就扛得住！ 方案1： 采取Anti高防服务器，进行流量清洗 也就是采用高端独立清洗，100-500G不等， ...
分类：
其他好文 时间：
2017-07-28 15:38:37
阅读次数：
139
59.56.66.*段是福州电信机房的得意之作，打底300G防护，独立清洗段，死扛防护定制。电信骨干网上层进行流量清洗！ 网泰高防服务器，有效防御攻击让你游戏高枕无忧，无视CC，死扛到底，帮你解决一切烦恼QQ：2880990294电话：18326835655 为什么要封国外？封UDP？封掉后有什么好 ...
分类：
其他好文 时间：
2017-07-28 14:44:47
阅读次数：
167
7月30之前做了什么 监督学习的常见算法，如决策树，SVM，GLM，naive bayes，非监督算法，k-means，kNN 相关的概率论知识补充，除神经网络与深度学习外的资料收集，对脑机研究的基本了解，对整体机器学习，深度学习，数据挖掘这块宏观的认识 接下来还需要继续学习的有： 1.继续传统机器 ...
分类：
其他好文 时间：
2017-07-28 14:07:47
阅读次数：
154
本文參考：http://scikit-learn.org/stable/data_transforms.html 本篇主要讲数据预处理，包含四部分： 数据清洗、数据降维（PCA类）、数据增维（Kernel类）、提取自己定义特征。哇哈哈。还是关注预处理比較靠谱。。。。 重要的不翻译：scikit-le ...
分类：
其他好文 时间：
2017-07-24 10:07:54
阅读次数：
419
问题 H: 木棒 时间限制: 1 Sec 内存限制: 32 MB提交: 36 解决: 9[提交][状态][讨论版] 题目描述 现有n根木棒，已知它们的长度和重量。要用一部木工机一根一根地加工这些木棒。该机器在加工过程中需要一定的准备时间，是用于清洗机器，调整工具和模板的。木工机需要的准备时间如下：（ ...
分类：
其他好文 时间：
2017-07-23 18:13:52
阅读次数：
480
第一步．改善洗脸习惯 1.先用温水把面孔沾湿，使毛孔扩张 （这是为了清洗毛孔内的老废物质而做的准备） 2.把洗脸用的洗面剂挤到手掌上 （如果是牙膏型，则挤出拇指指甲大小的分量；如果是泡沫型，则使用挤一次出现的分量即可。因为如果使用太多，那不只会让脸孔洗不干净，还可能因为留在脸上残留物太多而使毛孔阻塞 ...
分类：
其他好文 时间：
2017-07-16 21:54:49
阅读次数：
144
现在的空调种类多种多样，不同型号的空调清洗方法也不同，那么水温空调如何进行手动清洗呢？ 对于空调，人们一般只关心其制冷，制热的功能，可是却忽略空调如果长期不清洗的严重危害：空调具有吸尘器一样的功效，抽进室内空气，经过潮湿的蒸发器全面接触后，再吹回室内，长此以往，室内的灰尘、污垢、细菌 等积累堵塞在空 ...
分类：
其他好文 时间：
2017-07-13 20:28:18
阅读次数：
201
实时计算是什么？ 请看以下的图： 我们以热卖产品的统计为例。看下传统的计算手段： 1. 将用户行为、log等信息清洗后保存在数据库中. 2. 将订单信息保存在数据库中. 3. 利用触发器或者协程等方式建立本地索引，或者远程的独立索引. 4. join订单信息、订单明细、用户信息、商品信息等等表，聚合 ...
分类：
其他好文 时间：
2017-07-11 21:03:54
阅读次数：
93
