一，导入依赖 二，编写demo类 注意不要导错包了,是org.jsoup.nodes下面的 ...
分类：
编程语言 时间：
2019-09-26 23:49:07
阅读次数：
94
关于爬取猫眼排行榜的教程网上可以说是烂大街了，因此感谢那些踩坑的前辈，我又再次把你们的坑在踩了一次，手动哭泣 这是我的思路： 得到网页url——爬取网页源代码——使用正则表达式分析网页——写入TXT文件 得到网页url，这没得说 爬取网页源代码 正则分析网页源码，这里踩了一个坑，正则表达式忘记添加了 ...
分类：
其他好文 时间：
2019-09-02 20:59:55
阅读次数：
94
记录一下爬取豆瓣热门专栏的经过，通过这篇文章，你能学会requests，HTMLParser，json的基本使用，以及爬取网页内容的基本思路。 使用模块 1，获取豆瓣首页代码：首先我们需要访问豆瓣页面，获取首页的源码。这里推荐使用第三方库：requests，相比python内置的 urllib 模块 ...
分类：
编程语言 时间：
2019-08-31 17:42:10
阅读次数：
114
恢复内容开始 requests库的7个主要方法 requests.request() 爬取网页的通用代码框架 连接有风险，异常处理很重要 robots协议 基本语法 #注释 *代表所有 / 代表根目录 user-agent: * Disallow: / 访问亚马逊网页商品 查看头部信息r.reque ...
分类：
编程语言 时间：
2019-08-21 00:20:22
阅读次数：
100
代码如下： 需要确定的三个元素： url： cookeid 和 请求body的格式： 返回参数： ...
分类：
Web程序 时间：
2019-08-07 18:59:31
阅读次数：
117
在本篇博文中我将实现一个完整的实例：主要使用Node.js爬取一个网页，需要通过第三方模块cheerio.js分析这个网页的内容，最后将这个网页的图片保存个在本地。 一、项目目录与思路 新建一个项目名为：project_01,输入命令在控制台，使其生成package.json文件： 命令： 在控制台 ...
分类：
Web程序 时间：
2019-07-19 12:13:38
阅读次数：
133
python3.7脚本爬取网页图片。python在学中，如果有错还希望大家指出，共同进步~~
分类：
编程语言 时间：
2019-07-19 10:45:04
阅读次数：
107
1 python环境的配置 1.1 安装python文件包，放到可以找到的位置 1.2 右键计算机 属性 高级环境设置 系统变量 Path 编辑 复制python路径位置 1.3 管理员身份打开cmd,输入python，测试环境是否安装成功 2 安装pycharm 2.1 安装pycharm文件包， ...
分类：
Web程序 时间：
2019-07-13 13:24:38
阅读次数：
635
当需要的信息要经过两个链接才能打开的时候，就需要用到嵌套爬取。 比如要爬取起点中文网排行榜的小说简介，找到榜单网址：https://www.qidian.com/all?orderId=&style=1&pageSize=20&siteid=1&pubflag=0&hiddenField=0&pag ...
分类：
编程语言 时间：
2019-07-11 20:00:13
阅读次数：
145
从网页爬取文本信息： eg:从http://computer.swu.edu.cn/s/computer/kxyj2xsky/中爬取讲座信息（讲座时间和讲座名称） 注：如果要爬取的内容是多页的话，网址一定要从第二页开始，因为有的首页和其他页的网址有些区别 代码 输出 数据库连接成功！ ('2018- ...
分类：
编程语言 时间：
2019-07-07 12:47:50
阅读次数：
115
