Python常用功能函数汇总 1.按行写字符串到文件中 2.创建初始化浏览器 其中，获取网页html 3.根据url获取网页Html函数 4.获取时间的不同格式 5.连接Mysql执行sql语句 ...
分类：
编程语言 时间：
2018-02-13 10:35:59
阅读次数：
372
Python爬虫基础 1.获取网页文本 通过urllib2包，根据url获取网页的html文本内容并返回 或者 再添加ua和超时时间： 添加header属性： 添加随机ua ...
分类：
编程语言 时间：
2018-02-11 12:28:17
阅读次数：
196
#测试网址: http://localhost/blog/testurl.php?id=5 //获取域名或主机地址 echo $_SERVER['HTTP_HOST']."<br>"; #localhost //获取网页地址 echo $_SERVER['PHP_SELF']."<br>"; #/b ...
分类：
Web程序 时间：
2018-02-07 12:13:05
阅读次数：
270
Python3.x：BeautifulSoup()解决中文乱码问题 问题： BeautifulSoup获取网页内容，中文显示乱码； 解决方案： 如果中文页面编码是gb2312，gbk，在BeautifulSoup构造器中传入fromEncoding="gb18030"参数即可解决乱码问题， 即使分析 ...
分类：
编程语言 时间：
2018-01-20 11:07:49
阅读次数：
303
为什么要添加头部信息，因为有时候有些网页会有反爬虫的设置，导致无法获取正常的网页，在这里，在代码的头部添加一个headers信息，模拟成浏览器去访问网页。没有添加头部信息的代码importurllib2url="http://blog.51cto.com/lsfandlinux/2046467"file=urllib2.urlopen(url)html=file.read()printhtml接下
分类：
编程语言 时间：
2018-01-14 19:35:47
阅读次数：
221
声明：以下代码，Python版本3.6完美运行 一、思路介绍 不同的图片网站设有不同的反爬虫机制，根据具体网站采取对应的方法 1. 浏览器浏览分析地址变化规律 2. Python测试类获取网页内容，从而获取图片地址 3. Python测试类下载图片，保存成功则爬虫可以实现 二、豆瓣美女（难度：?） ...
分类：
编程语言 时间：
2018-01-14 11:00:50
阅读次数：
5621
声明：以下代码，Python版本3.6完美运行 一、思路介绍 不同的图片网站设有不同的反爬虫机制，根据具体网站采取对应的方法 1. 浏览器浏览分析地址变化规律 2. Python测试类获取网页内容，从而获取图片地址 3. Python测试类下载图片，保存成功则爬虫可以实现 二、豆瓣美女（难度：?） ...
分类：
编程语言 时间：
2018-01-13 18:49:44
阅读次数：
193
1 #region 解析HTML 2 /// 3 /// 获取网页标签内容 4 /// 5 public static string[] RegexHtmlToFormat(string as_Html, string tags) 6 { 7 List list... ...
//获取网页文件名 var pathname=location.pathname; var htmlFileName=pathname.substr(pathname.lastIndexOf("/")+1); ...
分类：
Web程序 时间：
2018-01-07 14:19:40
阅读次数：
123
爬虫的操作步骤： 爬虫三步走 爬虫第一步：使用requests获得数据： 1.导入requests 2.使用requests.get获取网页源码 import requests r = requests.get('https://book.douban.com/subject/1084336/com ...
分类：
编程语言 时间：
2018-01-02 16:54:43
阅读次数：
186
