次上面的代码只是爬虫的模拟数据发送的部分代码，即自定义模拟浏览器客户端的，设置请求头，没有用Cookies进行登陆保存设置 ...
今天（17-03-31）忙了一下午研究webmagic,发现自己还太年轻，对于这样难度的框架（类库） 还是难以接受，还是从基础开始吧，因为相对基础的东西教程相多一些，于是乎我找了apache其下的 HttpClient,根据前辈们发的教程自己也简单写了一下，感觉还好。 下面实现的是单个页面的获取： ...
分类：
Web程序 时间：
2017-04-01 00:03:35
阅读次数：
286
HTTP爬虫网络上每时每刻都有海量的请求，有从客户端到服务器端的，也有服务器端到服务器端的一般在浏览器里，我们是通过ajax来完成表单的提交或者是数据的获取，那在http模块里呢get和request这两个接口来完成数据的获取或者是提交。来个实例，爬一下51cto博客的数据先从最简单..
分类：
Web程序 时间：
2017-03-25 12:08:57
阅读次数：
127
import re import urllib.request # 爬取网页 def getHtml(url): page=urllib.request.urlopen(url) html=page.read() return html # 获取图片地址 def getImg(html): rule... ...
分类：
编程语言 时间：
2017-03-22 10:32:24
阅读次数：
181
Python爬虫学习系列教程 Python爬虫学习系列教程 大家好哈，我呢最近在学习Python爬虫，感觉非常有意思，真的让生活可以方便很多。学习过程中我把一些学习的笔记总结下来，还记录了一些自己实际写的一些小爬虫，在这里跟大家一同分享，希望对Python爬虫感兴趣的童鞋有帮助，如果有机会期待与大家 ...
分类：
编程语言 时间：
2017-03-01 20:47:38
阅读次数：
202
初学nodejs写一个http小爬虫，爬虫就是把网页上的代码爬下来。 代码： var http = require('http') //加载http模块var url = 'http://www.imooc.com/learn/713' http.get(url,function(res){ //g ...
分类：
Web程序 时间：
2017-02-16 14:37:19
阅读次数：
241
想看小说《鬼吹灯之精绝古城》，可是网页版的好多广告，还要一页一页的翻，还无法复制，于是写了个小爬虫，保存到word里慢慢看。 代码如下： """ 爬取《鬼吹灯之精绝古城》小说 """ from selenium import webdriver import os from docx import ...
分类：
编程语言 时间：
2017-02-12 22:17:38
阅读次数：
250
学习基础,JQuery 原生JS有一定基础,有自己一定技术认知(ps:原型链依然迷糊中.闭包6不起来!哎!) 当然最好有语言基础,C#,java,PHP等等.. 最初学习这个东西的原因很简单,在园子里面看到一篇关于node编写的小爬虫 的文章,没想到这个可以做一些服务自己的东西而不是公司那些服务用户 ...
分类：
Web程序 时间：
2016-12-29 19:58:29
阅读次数：
205
小伙伴有个需求，想识别图片中的数字。正好在研究这方面，所以先做个demo压压惊。 已知一个图片库，分析图片的url比较有规律，很easy，但抓图时发现一直跳转到认证页面， 应该少cookie，加上之搞定。 （在这里提醒句，如果扒图片遇到阻碍，通常都是有办法绕过，<为何大量网站不能抓取?爬虫突破封禁的 ...
分类：
其他好文 时间：
2016-12-18 23:10:13
阅读次数：
222
看看一只豆瓣影视小爬虫是如何诞生的，JewelCrawler可以爬影视详情和短评并基于Word2Vec做情感分析，代码已经发在Github上。 ...
分类：
编程语言 时间：
2016-12-11 15:02:18
阅读次数：
276
