import requests # 定义爬取url地址 base_url = 'https://www.baidu.com/' # 定义代理IP地址 proxies = {'http':'http://121.31.193.38:8123'} # 使用代理获取想要的页面 response = req... ...
分类：
其他好文 时间：
2019-02-22 22:58:30
阅读次数：
171
一、代理池的维护 上面我们利用代理可以解决目标网站封IP的问题 在网上有大量公开的免费代理 或者我们也可以购买付费的代理IP但是无论是免费的还是付费的，都不能保证都是可用的 因为可能此IP被其他人使用来爬取同样的目标站点而被封禁或者代理服务器突然故障或者网络繁忙 一旦选用了一个不可用的代理，这势必会 ...
分类：
编程语言 时间：
2019-02-13 10:51:13
阅读次数：
176
SEO如何提升网站排名?seo中文名称搜索引擎优化，是提升网站排名的一种技术手段，常用的手段就是优化标签，内链外链等等，最核心的优化方向，“关键词”。最常见的表现形式就是软文，但是有的时候就算你做了很多，也不见得有效果?其实想提高网站排名不是一时半会的功夫，那是要日积月累的，下面犀牛代理IP给大家简 ...
分类：
Web程序 时间：
2019-01-23 18:11:07
阅读次数：
184
爬取代理IP 爬取 关于爬取代理IP，国内首先想到的网站当然是 "西刺代理" 。首先写个爬虫获取该网站内的Ip吧。 先对 "国内Http代理" 标签页面进行爬取，解析页面使用的 "Jsoup" ，这里大概代码如下 这里https方法参考了 "这篇博客" 全局代理 直接上代码，就几行代码 需要注意一点 ...
分类：
编程语言 时间：
2019-01-19 16:14:58
阅读次数：
241
问题：在运行scrapy的过程中，如果想按顺序启动爬虫怎么做？ 背景：爬虫A爬取动态代理ip，爬虫B使用A爬取的动态代理ip来伪装自己，爬取目标，那么A一定要在B之前运行该怎么做？ IDE：pycharm 版本：python3 框架：scrapy 系统：windows10 代码如下：（请自行修改） ...
分类：
编程语言 时间：
2019-01-19 00:54:02
阅读次数：
305
爬虫代理IP池 在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简单的代理池服务。 1、问题 代理IP从何而 ...
分类：
编程语言 时间：
2019-01-18 12:25:56
阅读次数：
204
在seo中有一种优化得方法就是外链，外链是促进SEO优化得一个重要方式。那么，怎么发外链效果会好呢？百度算法得不断升级，不断得降低了外链对优化得网站得作用，导致了很多网站站长对外链得关注度降低。那么外链真的对于优化没有任何建设价值了吗？我想说的是价值是可以创造的，有质量的外链一样可以为网站带来正面的影响，从而达到优化网站的目的。那么外链应该如何发效果会好呢？犀牛在线代理IP就简单的给大家讲讲外链的
分类：
其他好文 时间：
2019-01-15 14:21:02
阅读次数：
200
一、基础 1）反爬：useragent/cookie/代理ip/js生成/需要登陆/refer/2）url得到方式：network/search3）提取方式：正则/xpath/bs4/josn/jsonpath/css4）验证码处理：手动/打码平台/tesseract识别5）数据去重：数据库分组去重 ...
分类：
其他好文 时间：
2019-01-11 21:21:22
阅读次数：
213
很多人认为，使用IP代理就可以毫无顾忌得“拜访”别人的网站，抓取别人的数据，毫无顾忌，在合法的范围内为所欲为了，但是理想是丰满的，现实是骨感的，就算你用了代理IP，但是依旧被封锁了，苍天哪，这是为什么，整个世界都崩溃了，MD，一定是代理IP不好用，质量不好，好吧，你可以这么想。 但是现实告诉你还有几 ...
分类：
其他好文 时间：
2019-01-02 12:25:49
阅读次数：
3155
尊敬的芝麻IP用户您好! 我们的所有代理IP产于自建机房 现在已经有的地区如下：1北京25吉安49淮安73宁波2上海26连云港50温州74新余3深圳27池州51雅安75马鞍山4张家口28朔州52沈阳76焦作5青岛29益阳53广州77常州6烟台30威海54绍兴78上饶7衡州31徐州55盐城79菏泽8莱芜32淮北56日照80丹东9金华33鞍山57潍坊81德阳10乐山34珠海58黄山82保山11铜陵
分类：
其他好文 时间：
2018-12-20 15:41:13
阅读次数：
214
