（一）使用前的配置： 1，使用IDEA创建web项目：https://blog.csdn.net/MyArrow/article/details/50824793 2，（1）添加依赖： <dependency> <groupId>us.codecraft</groupId> <artifactId> ...
分类：
编程语言 时间：
2020-02-11 00:23:10
阅读次数：
111
python时间戳 将时间戳转为日期 #!/usr/bin/python # -*- coding: UTF-8 -*- # 引入time模块 import time #时间戳 timeStamp = 1581004800 timeArray = time.localtime(timeStamp) ...
分类：
编程语言 时间：
2020-02-07 16:45:36
阅读次数：
54
1.selenium获取网页iframe内容 语法：driver.switch_to.frame(iframe) ①通过tag_name driver.get(url) #该iframe为页面的第几个iframe iframe = driver.find_elements_by_tag_name(' ...
分类：
Web程序 时间：
2020-02-06 16:49:03
阅读次数：
104
1.大体框架列出+爬取网页： #数据可视化 from pyecharts import Bar #用来url连接登陆等功能 import requests #解析数据 from bs4 import BeautifulSoup #用来存取爬取到的数据 data = [] def parse_data ...
分类：
其他好文 时间：
2020-01-28 15:40:07
阅读次数：
61
问题：urllib.error.HTTPError: HTTP Error 418: 问题描述：当我使用Python的request爬取网页时返回了http状态码为418, 错误描述：经过网上查询得知，418的意思是被网站的反爬程序返回的，网上解释为，418 I'm a teapotThe HTTP ...
分类：
编程语言 时间：
2020-01-06 19:48:59
阅读次数：
312
cheerio第三方的模块：cheerio是jquery核心功能的一个快速灵活而又简洁的实现，主要是为了用在服务器端需要对DOM进行操作的地方 用http模块做爬虫爬取网页的新闻： const http =require("http"); const fs =require("fs"); const ...
分类：
Web程序 时间：
2019-12-25 13:20:07
阅读次数：
86
xpath解析是我们在爬虫中最常用也是最通用的一种数据解析方式。 环境安装 pip install lxml 解析原理 使用通用爬虫爬取网页数据 实例化etree对象，且将页面数据加载到该对象中 使用xpath函数结合xpath表达式进行标签定位和指定数据提取 实例化etree对象 - 1.将本地的 ...
分类：
其他好文 时间：
2019-12-17 14:44:18
阅读次数：
108
Python网络爬虫学习路线： 1.Requests库入门 1.1Requests库的7个主要方法 1.2 爬取网页的通用代码框架 1.3 HTTP协议及Requests库方法 HTTP, Hypertext Transfer Protocol超文本传输协议 ， HTTP是一个基于“请求与响应”模式 ...
分类：
其他好文 时间：
2019-12-15 23:34:27
阅读次数：
95
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。作者：HOT_and_COOl 利用爬虫可以进行数据挖掘，比如可以爬取别人的网页，收集有用的数据进行整合和划分，简单的就是用程序爬取网页上的所有图片并保存在自己新建的文件夹内，还 ...
分类：
编程语言 时间：
2019-12-08 12:29:04
阅读次数：
71
大家在做爬虫采集数据的时候很多都会遇到增量采集的问题，有些时候是通过过滤url来进行的，有些是通过爬取网页后再进行分析判断， 以上这些过程也许大部分做爬虫的都会这么做，各位有没有想过， 除了以上的常用的方式还有没有其他的能够可以一次性批量获取先要的url连接地址呢？ 自己做爬虫也有很多年了，前不久听 ...
分类：
Web程序 时间：
2019-12-02 11:58:12
阅读次数：
127
