一、前提 爬虫网页（只是演示，切勿频繁请求）：https://www.kaola.com/ 需要的知识：Python，selenium 库 参考网站：https://selenium-python-zh.readthedocs.io/en/latest/waits.html 二、简单的分析下网站 三 ...
分类：
编程语言 时间：
2019-01-18 10:54:25
阅读次数：
176
项目分组情况：我（潘萧臣）、鲍中飞 基本功能模块，实现文章词频统计，每个人独自完成编写语言为C语言和python3.7.0，主要实现英文单词词数统计。 拓展功能，在每个人完成的基础上实现网页内容爬取操作，将爬下来的内容进行词频统计，网页爬虫方面，还未进行详细了解，自己初步打算用python中的req ...
分类：
其他好文 时间：
2019-01-08 15:14:05
阅读次数：
129
Python十分适合用来开发网页爬虫，理由如下：1、抓取网页自身的接口比较与其他静态编程语言，如java，c#，c++，python抓取网页文档的接口更简练；比较其他动态脚本语言，如perl，shell，python的urllib2包供给了较为完整的访问网页文档的API。（当然ruby也是很好的挑选 ...
分类：
编程语言 时间：
2018-12-26 15:40:25
阅读次数：
196
HBase： 被称为NoSQL数据库。它提供了键值API，尽管有些变化，与其他键值数据库有些不同。它承诺强一致性，所以客户端能够在写入后马上看到数据。HBase运行在多个节点组成的集群上，而不是单台机器。它对客户端隐藏了这些细节。你的应用代码不需要知道它在访问1个还是100个节点，对每个人来说事情变 ...
分类：
其他好文 时间：
2018-11-09 00:46:14
阅读次数：
182
chromedriver禁用图片，禁用js，切换UA selenium 模拟chrome浏览器，此时就是一个真实的浏览器，一个浏览器该加载的该渲染的它都加载都渲染，所以爬取网页的速度很慢。如果可以不加载图片等操作，网页加载速度就会快不少，代码中列出了了禁用图片，禁用JS，切换UA的方法。 from ...
分类：
编程语言 时间：
2018-10-25 17:09:23
阅读次数：
169
1、头信息检查是否频繁相同 随机产生一个headers， #user_agent 集合 user_agent_list = [ 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/ ...
分类：
编程语言 时间：
2018-10-25 17:05:03
阅读次数：
501
此处进行简单的分类，对于普通的网页爬取内容，如果没有登录界面可以直接使用Jsoup的API进行爬取； 如果网站是在打开目标也之前需要进行登录，此时需要先使用用户加密码实现登录获取Cookie然后进行登录； 本文就第二种方式进行分析： 方式一、 httpClient中的PostMethod 或者 Ge ...
分类：
Web程序 时间：
2018-10-08 23:13:00
阅读次数：
258
哈喽^_^ 一般我们在编写网页爬虫的时候经常会使用到Fiddler 这个工具来分析http包,而且通常并不是分析一个包就够了的,所以为了把更多的时间放在分析http包上,自动化生成封包代码就尤为重要了(其实之前已经有第三方的插件了,自己编写主要是为了适配自定义的http请求模块)! 首先注册拖拽事件 ...
爬虫学习--下载图片 1.主要用到了urllib和re库 2.利用urllib.urlopen()函数获得页面源代码 3.利用正则匹配图片类型,当然正则越准确，下载的越多 4.利用urllib.urlretrieve()下载图片，并且可以重新命名，利用%S 5.应该是运营商有所限制，所以未能下载全部... ...
分类：
编程语言 时间：
2018-07-29 11:55:07
阅读次数：
149
一 遍历单个域名 网页爬虫，就是对目标网页进行捉取，然后遍历到数据信息，然后有链接的继续遍历，如此回调。 第一步：将页面的所有链接获取 运行效果图 发现会存在些没用用的数据，有些href的值只是作为页面块的跳转，我们可以使用正则表达式进行优化过滤掉，只获取带有HTML结尾的链接 第二步：递归获取网页 ...
分类：
编程语言 时间：
2018-07-19 13:46:45
阅读次数：
161
