新增了代理功能，代码很浅显易懂不想多余讲解 import re import requests from requests import RequestException import time import random from bs4 import BeautifulSoup # 获取网页的r ...
分类：
编程语言 时间：
2020-02-08 17:20:08
阅读次数：
70
package rjcs; import org.openqa.selenium.firefox.FirefoxDriver; import org.testng.Assert; public class xinkaishi { public static void main(String[] ar ...
分类：
编程语言 时间：
2020-02-08 00:13:18
阅读次数：
414
1.selenium获取网页iframe内容 语法：driver.switch_to.frame(iframe) ①通过tag_name driver.get(url) #该iframe为页面的第几个iframe iframe = driver.find_elements_by_tag_name(' ...
分类：
Web程序 时间：
2020-02-06 16:49:03
阅读次数：
104
头元素信息： <title>：文档标题，只有一个 <base>：默认链接 <link>：文档与外部资源关系，常用于链接样式表CSS <style>：样式 <meta>：元数据，页面描述，关键字，文档作者等 <script>：客户端脚本，如JavaScript 获取网页：requests包 http请 ...
分类：
编程语言 时间：
2020-01-29 23:18:39
阅读次数：
109
Python爬虫：urllib库的基本使用Python爬虫 请求网址获取网页代码import urllib.request url = "http://www.baidu.com" response = urllib.request.urlopen(url) data = response.read... ...
分类：
编程语言 时间：
2020-01-24 09:31:58
阅读次数：
133
请求网址获取网页代码 get带参数请求 直接这么写会报错： 原因是，网址里面包含了汉字，但是ascii码是没有汉字的，需要转义一下： ...
分类：
编程语言 时间：
2020-01-23 22:54:36
阅读次数：
146
java版的网络爬虫基本思路是，先获取网页信息，再根据正则表达式提取网页内容 package xuexi; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; imp ...
分类：
编程语言 时间：
2020-01-22 10:47:42
阅读次数：
58
对于爬虫大家应该不会陌生，我们首先来看一下爬虫的定义：网络爬虫是一种自动获取网页内容的程序，是搜索引擎的重要组成部分。网络爬虫为搜索引擎从万维网下载网页，自动获取网页内容的应用程序。看到定义我们应该已经知道它是可以从万维网上下载网页解析网页数据的。大家想一下在数据分析情景中它的应用场景有哪些？采集天 ...
分类：
其他好文 时间：
2020-01-17 19:23:54
阅读次数：
157
我用chrome浏览器和www.bilibili.com这个网站举例 1：初见：哇！这网站做的好美啊，内容好好看啊，背景好帅！！（B站打钱）我想要这个背景，可是要怎么获取呢？ 2：右键，选择检查或在键盘上按F12。别告诉我你不知道F12在哪。 3：在右边众多代码中找到“background“这个属性 ...
分类：
Web程序 时间：
2020-01-10 22:00:59
阅读次数：
122
一、主题式网络爬虫设计方案（15分） 1.主题式网络爬虫名称 小米官网爬虫手机类型销量爬虫 2.主题式网络爬虫爬取的内容与数据特征分析：小米官网爬虫手机类型价格爬虫 3.主题式网络爬虫设计方案概述（包括实现思路与技术难点） 本次设计方案主要依靠BeautifulSoup库对目标页面进行信息的爬取采集 ...
分类：
编程语言 时间：
2019-12-21 12:04:20
阅读次数：
104
