# *_*coding:utf-8 *_* import urllib.request from lxml import etree import requests def requests_view(response): request_url = response.url base_url = ... ...
分类：
其他好文 时间：
2018-09-22 18:22:24
阅读次数：
201
在上一次的学习实践中，我们以Tencent职位信息网站为例，介绍了在爬虫中如何分析待解析的网站结构，同时也说明了利用Xpath和lxml解析网站的一般化流程。在本节的实践中，我们将以中国天气网为例，并基于Beautiful Soup库对其进行数据解析，最后再简单说明pyecharts数据可视化。 中 ...
分类：
编程语言 时间：
2018-09-22 00:50:59
阅读次数：
361
在操作数据库的时候，python2中一般使用mysqldb，但在python3中已经不在支持mysqldb了，我们可以用pymysql和mysql.connector。本文的所有操作都是在python3的pymysql下完成的。 一、基本操作 (1) 查询 import pymysql conn = ...
分类：
数据库 时间：
2018-09-20 21:28:03
阅读次数：
279
异常：'latin-1' codec can't encode characters in position 62-66: ordinal not in range(256) 用Python通过pymysql往MySQL数据库中插入数据时，插入的字段含有中文，出现异常： 'latin-1' code ...
分类：
数据库 时间：
2018-09-20 21:25:43
阅读次数：
192
首先导入模块，用help查看相关文档 1 意思就是将基地址与一个相对地址形成一个绝对地址，然而讲的太过抽象 1 意思就是将基地址与一个相对地址形成一个绝对地址，然而讲的太过抽象 1 意思就是将基地址与一个相对地址形成一个绝对地址，然而讲的太过抽象 意思就是将基地址与一个相对地址形成一个绝对地址，然而 ...
分类：
Web程序 时间：
2018-09-20 13:52:16
阅读次数：
325
栗 子 1、id 获取id 的属性值 2、starts-with 顾名思义，匹配一个属性开始位置的关键字 -- 模糊定位 3、contains 匹配一个属性值中包含的字符串 -- 模糊定位 4、text() 函数文本定位 5、last() 函数位置定位 eg <a id="setf" href="/ ...
分类：
其他好文 时间：
2018-09-20 13:11:33
阅读次数：
132
1、requests 模块 res = requests.get("url") 请求网页 res.text 将获取的网页转化成文本格式 具体函数 res = requests.get("url") res.text >获取文本 res.content >下载内容 举例 img_res= rreque ...
分类：
其他好文 时间：
2018-09-15 23:18:26
阅读次数：
187
正则表达式是处理字符串的强大工具，有着自己的语法结构。 1.实例引入 可以使用开源中国的 http://tool.oschina.net/regex# 可以看到有许多匹配项，正则表达式匹配就是按照一定规则将特定的文本提取出来。比如电子邮件开头是一段字符串，然后是一个@符号，最后是某个域名，这是由特定 ...
分类：
编程语言 时间：
2018-08-23 22:08:51
阅读次数：
216
写在前面的话 ：上一篇文章我们利用requests进行了一些爬虫小实验，但是想要更顺利的深入爬虫学习，了解一些解析网页的方法肯定是必须的，所以接下来我们就一起来学习lxml.etree模块的基础使用方法吧 ...
分类：
编程语言 时间：
2018-08-23 00:21:35
阅读次数：
497
