``` import requests from bs4 import BeautifulSoup response = requests.get("https://www.autohome.com.cn/news/") # 1. content /text 的区别 # print(response ...
分类：
其他好文 时间：
2019-11-17 22:19:39
阅读次数：
100
爬取最好大学网上最新2019年的中国大学排名情况 1.url：http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html。 2.使用requests库和bs4库实现对中国大学排名的定向爬取。 3.对包含输出的列表进行排版。 1 import reque ...
分类：
其他好文 时间：
2019-11-17 21:00:15
阅读次数：
136
背景 之前一直在弄一个Java爬虫，将爬取的信息保存到了数据库中。但这毕竟是一个课程设计，在设计前端GUI，展示数据的时候最开始是直接通过select语句从数据库中查找的，但我担心交给老师后，老师还要配置JDBC的参数创建数据库插入表等一些繁琐操作，便想要保存到本地。昨晚看到同学从数据库中导出一个j ...
分类：
编程语言 时间：
2019-11-17 15:02:28
阅读次数：
101
三个爬虫的小栗子 第一个例子 —— 京东商品的爬取案例 import requests def getHTMLtext(url): try: r = requests.request('get' ,url ) r.raise_for_status() r.encoding = r.apparent_ ...
分类：
其他好文 时间：
2019-11-17 12:48:46
阅读次数：
60
Scrapy 是一个使用 Python 语言开发，为了爬取网站数据，提取结构性数据而编写的应用框架，它用途广泛，比如：数据挖掘、监测和自动化测试。安装使用终端命令 即可。 Scrapy 比较吸引人的地方是：我们可以根据需求对其进行修改，它提供了多种类型的爬虫基类，如：BaseSpider、sitem ...
分类：
其他好文 时间：
2019-11-17 10:52:12
阅读次数：
83
首先：文章用到的解析库介绍 BeautifulSoup： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。 它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful So ...
分类：
编程语言 时间：
2019-11-16 23:42:24
阅读次数：
110
[TOC] 这里是爬取豆瓣视频信息，用pyquery库(jquery的python库)。 一：代码 二：结果如下(部分例子) 1.输入天气之子 2.输入百变小樱魔法卡 必须是已经上映的电影才有观看地址 3.独立日 ...
分类：
编程语言 时间：
2019-11-16 13:01:14
阅读次数：
99
目录 selenium 模块 安装 phantomjs 浏览器 安装 chromedriver 接口 安装 对比两个接口 整合使用 基本实例 常用属性方法 定位节点 节点操作 其他操作 实例解析 - 京东商品爬取 实例解析 - 小米应用下载页面爬虫 特殊操作 - 集成 selenium 到Scrap ...
分类：
Web程序 时间：
2019-11-15 20:16:47
阅读次数：
151
https://blog.csdn.net/guoxinian/article/details/83047746 req = requests.get(url)返回的是类对象 其包括的属性有： req.encoding:返回编码方式 req.text：text返回的是处理过的Unicode型的数据 ...
分类：
编程语言 时间：
2019-11-15 13:58:47
阅读次数：
108
学习爬虫的门槛非常低，特别是通过Python学习爬虫，即使是网上也能找到许多学习爬虫的方法，而且爬虫在数据采集方面效果比较好，比如可以采集几万、上百万网页数据进行分析，带来极有价值的数据，不仅能了解同行的情况，也许还能影响企业的决策。 一、爬虫可以采集哪些数据 1.图片、文本、视频 爬取商品（店铺） ...
分类：
其他好文 时间：
2019-11-14 18:14:54
阅读次数：
52
