1. 简单说明爬虫原理 a.向服务器发起请求 b.获取响应内容 c.解析内容 d.保存内容 2. 理解爬虫开发过程 1).简要说明浏览器工作原理； 输入url，发送请求，通过网络连接，等待服务器相应返回数据，浏览器出现界面 2).使用 requests 库抓取网站数据； requests.get(u ...
分类：
其他好文 时间：
2019-03-25 17:53:48
阅读次数：
151
Beautifulsoup模块 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式. Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 ...
分类：
其他好文 时间：
2019-03-25 01:15:54
阅读次数：
211
python 爬虫资源包汇总 Requests BeautifulSoup Beautiful Soup库（bs4）入门 Selenium Selenium环境安装设置 Selenium Installation Python爬虫利器五之Selenium的用法 Python爬虫利器三之Xpath语法 ...
分类：
其他好文 时间：
2019-03-20 00:45:36
阅读次数：
111
#ReportingDate = soup.select('body > div.main > div > div.ctr > div.recruit > ul > li > a')[0].text.split('（')[-1].split('）')[0] ReportingDate ="2015年... ...
分类：
编程语言 时间：
2019-03-18 18:42:05
阅读次数：
150
Beautiful Soup官方说明： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup自动将输入文档转 ...
分类：
Web程序 时间：
2019-03-15 19:10:28
阅读次数：
186
知道了正则表达式的相关用法，但是一旦正则表达式写的有问题，得到的可能就不是我们想要的结果了。而且对于一个网页来说，都有一定的特殊结构和层级关系，而且有很多节点都有id或class来做区分，所以借助它们的结构和属性来提取也可以。 本随笔内容就来介绍一个强大的解析工作Beautiful Soup，它借助 ...
分类：
编程语言 时间：
2019-03-09 21:52:27
阅读次数：
202
#!/usr/bin/env python # -*- coding:utf-8 -*- import unittest from selenium import webdriver from bs4 import BeautifulSoup as bs import time class douy... ...
分类：
其他好文 时间：
2019-03-09 15:28:54
阅读次数：
201
在网页节点中，可以定义id、class或其他属性。节点间有层次关系，网页中要通过XPath或CSS选择器定位一个或多个节点。在页面解析时，可利用XPath或CSS选择器提取某个节点，再调用相应方法获取它的正文内容或者属性，就可提取到想要的信息。在python中常用的解析库有lxml、Beautifu... ...
分类：
其他好文 时间：
2019-03-08 17:06:24
阅读次数：
182
为了更好地学习《自然语言处理》这一门课，我们的老师叫我们组团去刷学校官网，我刚开始还以为很简单，事实证明，我错了，固执的凭借xpath去解析内容非常的难，还有我最后用bs4轻松解析，这个项目让我看清了xpath适合提取单个标签内的内容，而bs4明显适合去提取大段的内容，然后再通过join,strip ...
分类：
其他好文 时间：
2019-03-03 17:35:49
阅读次数：
225
beautiful soup 入门 Beautiful Soup 是 python 的一个库，最主要的功能是从网页抓取数据。 Beautiful Soup 自动将输入文档转换为 Unicode 编码，输出文档转换为 utf-8 编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beau ...
分类：
其他好文 时间：
2019-02-21 20:24:26
阅读次数：
225
