一、思路分析： 在之前写拉勾网的爬虫的时候，总是得到下面这个结果（真是头疼），当你看到下面这个结果的时候，也就意味着被反爬了，因为一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会禁止这个IP的访问： 对于拉勾网，我们要 ...
分类：
编程语言 时间：
2018-11-14 21:04:08
阅读次数：
205
知己知彼百战不殆，对于竞争对手或者目标消费群体的数据收集，我们乐此不疲。在ip代理盛行的今天，爬虫技术已经可以被我们充分发挥，海量收集数据，毫不手软。如果不用代理ip，我们的爬虫行动往往会受到很多限制，以致最终被完全封锁掉。有什么方法能避免呢？往下看。1.验证码我们在很多网站会遇到，如果请求量大了之后就会遇到验证码的情况。最让人诟病的12306，其实也是一定程度上的防止非正当请求的产生。对于验证码
分类：
其他好文 时间：
2018-11-13 16:14:52
阅读次数：
251
在实际的爬虫抓取的过程中，由于会存在恶意采集或者恶意***的情况，很多网站都会设置相应的防爬取机制，通常防爬程序都是通过ip来识别机器人用户的，因此充足可用的ip信息可以为我们解决很多爬虫中的实际问题。通常一些爬虫开发者为了能够正常的采集数据，会选择减慢采集速度或者是去网上找一些免费的代理ip，但是网上很多的免费ip都不可用，可用的也很可能不稳定，因此怎么样在不侵犯对方利益的前提下正常的采集数据就成
分类：
其他好文 时间：
2018-11-07 20:10:00
阅读次数：
138
对于互联网平台来说，网站之多犹如鲫鱼过江，用户粘度越高网站的发展才能越长久。营业执照识别技术能降低企业在进行实名认证时的难度，中安营业执照识别推进平台认证自动化、便捷化，使网站平台在众多网站中增加竞争力。中安未来以ocr识别技术为核心研发出的中安营业执照ocr识别，算法精准，识别率高、速度快。中安还有护照识别、×××识别、驾驶证识别、行驶证识别、Vin码识别、人脸识别等等，助力更多的行业向智能化发
分类：
其他好文 时间：
2018-11-02 18:59:54
阅读次数：
125
成都网站优化如何查询网站的收录状况？大家都知道普遍来说网站收录越好，参与排名的页面越多，网站的主要关键词排名相对就会更好。那么，我们如何查询网站被收录的页面呢？ 一般来说了解网站的信息都会借助站长工具等平台来查询，这样的好处就是可以综合、快捷的了解网站众多信息，如：收录状况，外链，关键词排名，以及网站基础信息。当然站长工具等第三方平台问题就是不够准确，其数据特别是排名、收录等状况可以作为
分类：
Web程序 时间：
2018-10-30 18:43:32
阅读次数：
178
很多网站有多数据库联用的文章，如自强学堂http://code.ziqiangxuetang.com/django/django-multi-database.html 大都只讲解如何让不同的app对应不同的数据库，而没有谈到如何让同一个app里的不同class对应不同的数据库。 经过N多次试验，历 ...
分类：
移动开发 时间：
2018-10-24 15:19:08
阅读次数：
251
跨域 由于同源策略导致的不同源网站间页面脚本无法互相访问。 同源策略 出于安全性考虑，一个网站的脚本不能访问另一个网站的请求。除非它们的协议号，域名，端口号相同。 防跨域 同源策略条件过于严苛，很多网站都有子域名，这样就造成了互相通信不便的问题。 解决方案 一.document.domain doc ...
分类：
其他好文 时间：
2018-10-23 00:13:34
阅读次数：
227
网站地图是根据网站的结构、框架、内容，生成的导航网页，是一个网站所有链接的容器。很多网站的连接层次比较深，蜘蛛很难抓取到，网站地图可以方便搜索引擎或者网络蜘蛛抓取网站页面，了解网站的架构，为网络蜘蛛指路，增加网站内容页面的收录概率。网站地图一般存放在域名根目录下并命名为sitemap，比如http: ...
分类：
Web程序 时间：
2018-10-16 10:17:41
阅读次数：
242
何为Memcached？Memcached是一套开源的高性能分布式内存对象缓存系统，它将所有的数据都存储在内存中，因为在内存中会统一维护一张巨大的Hash表，所以支持任意存储类型的数据。很多网站通过使用Memcached提高网站的访问速度，尤其是对于大型的需要频繁访问数据的网站。Memcached是典型的C/S架构，因此需要安装Memcached服务端与MemcachedAPI客户端。Memcac
分类：
系统相关 时间：
2018-10-05 00:58:21
阅读次数：
243
在移动设备应用越来越广泛的今天，许多网站都开始做移动端的界面展示，两者屏幕尺寸差异很大，所以展示的内容也有所差别。于是就遇到一个问题，如何判断你的页面是在移动端还是在PC端打开的，很简单的问题，那我们就简单点来说，以我们公司的官网来说，PC端和移动端的官网界面分别如下： Navigator对象 首先 ...
分类：
移动开发 时间：
2018-09-29 20:21:36
阅读次数：
239
