在下抓数据也小有研究，现分享几个自己研究出来的抓数据的技术，可能会有很多不足的地方，欢迎大家指正补充哈哈！方法一：直接抓取网页源码优点：速度快。缺点：1，正由于速度快，易被服务器端检测，可能会限制当前ip的抓取。对于这点，可以尝试使用ip代码解决。 2，如果你要抓取的数据，是在网页加载完后，js修改 ...
分类：
其他好文 时间：
2017-11-02 11:26:17
阅读次数：
188
作为一个NBA马刺的粉丝，我想看到比赛的数据，比如比分、场均得分、助攻等等，网易NBA有专门的数据页面来展示这些数据，所以我想通过爬虫的方法，把数据抓取下来，按照我自己的想法去展示。从网上下载了一段代码，试跑了一下，能把网页的源代码下载下来。那我觉得接下来的工作..
分类：
其他好文 时间：
2017-10-25 23:55:29
阅读次数：
171
以下内容是《用python写网络爬虫》的读书笔记 一.安装firebug lite firebug lite是一个用于在网站中查看调试html，css和javascript的有效工具。它现在可以安装在chrome和firefox浏览器上。chrome浏览器的安装教程。firefox浏览器的安装教程。 ...
分类：
其他好文 时间：
2017-10-24 19:39:34
阅读次数：
191
“微信运动”能够向朋友分享一个包含有运动数据的网页，网页中就有我们需要的数据。url类似于：https://open.weixin.qq.com/connect/oauth2/authorize?appid=wx7fa037cc7dfabad5&redirect_uri=http%3A%2F%2Fh ...
分类：
微信 时间：
2017-10-21 15:25:50
阅读次数：
1071
前段时间看到很多微信公众号在转发一篇爬取mobike单车的信息，也不知道什么原因，在网上搜索了下很少有人在爬取ofo共享单车的数据，所以决定看看可以爬取ofo共享单车的那些数据。 抓取数据开始的时候，分析了下可以通过几个渠道看到ofo共享单车的数据，主要是通过ofo公众号，ofo APP、ofo微信 ...
分类：
其他好文 时间：
2017-10-20 20:07:47
阅读次数：
224
如果要以自动化的方式驱动Chrome进行数据抓取，必须实现Chrome Dev Protocol协议的客户端。这个协议本身并不复杂，我在之前的文章中也简单的介绍过一下。 Google本身有一个Node的实现chrome-remote-interface，对于其它语言，github上也有不少的实现，我 ...
分类：
其他好文 时间：
2017-10-05 00:23:15
阅读次数：
234
网页版数据抓取，没有抓取进度提示，对用户不友好，因此考虑添加进度条，进度为伪进度。 css代码如下 1 <style type="text/css"> 2 .demo{ 3 padding: 2em 0; 4 background: linear-gradient(to right, #2c3b4e ...
分类：
其他好文 时间：
2017-09-05 10:06:32
阅读次数：
192
简介： http://emweb.securities.eastmoney.com/PC_HSF10/CompanySurvey/CompanySurveyAjax?code=sz002215 业绩： http://emweb.securities.eastmoney.com/PC_HSF10/Fi ...
分类：
其他好文 时间：
2017-09-05 00:27:41
阅读次数：
181
看了许多关于分布式爬虫的文章，总结出其核心原理很简单，其实只要不是每天都需要处理千万级别以上的数据抓取工作，多开几个线程就能满足需求了~ 今天被怼到分布式问题真的好气哦 ...
分类：
其他好文 时间：
2017-08-16 21:59:03
阅读次数：
171
本文为younghz原创，文章链接为：http://blog.csdn.net/u012150179/article/details/37306629 这个问题最初是源于我在知乎上一个回答（http://www.zhihu.com/question/24368542/answer/27579662） ...
分类：
其他好文 时间：
2017-08-15 13:22:14
阅读次数：
223
