爬虫的两种解析方式 xpath和bs4

 1 /bookstore/book           选取根节点bookstore下面所有直接子节点book
 2     //book                    选取所有book
 3     /bookstore//book          查找bookstore下面所有的book
 4     /bookstore/book[1]        bookstore里面的第一个book
 5     /bookstore/book[last()]   bookstore里面的最后一个book
 6     /bookstore/book[position()<3]  前两个book
 7     //title[@lang]            所有的带有lang属性的title节点
 8     //title[@lang=‘eng‘]      所有的lang属性值为eng的title节点
 9     属性定位
10             //li[@id="hua"]
11             //div[@class="song"]
12     层级定位&索引
13             //div[@id="head"]/div/div[2]/a[@class="toindex"]
14             【注】索引从1开始
15             //div[@id="head"]//a[@class="toindex"]
16             【注】双斜杠代表下面所有的a节点，不管位置
17      逻辑运算
18             //input[@class="s_ipt" and @name="wd"]
19      模糊匹配 ：
20           contains
21                 //input[contains(@class, "s_i")]
22                 所有的input，有class属性，并且属性中带有s_i的节点
23                 //input[contains(text(), "爱")]
24             starts-with
25                 //input[starts-with(@class, "s")]
26                 所有的input，有class属性，并且属性以s开头
27       取文本
28             //div[@id="u1"]/a[5]/text()  获取节点内容
29             //div[@id="u1"]//text()      获取节点里面不带标签的所有内容
30       取属性
31             //div[@id="u1"]/a[5]/@href

 1 from lxml import etree
 2 import requests
 3 
 4 url=‘http://www.haoduanzi.com/category-10_2.html‘
 5 headers = {
 6         ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36‘,
 7     }
 8 url_content=requests.get(url,headers=headers).text
 9 #使用xpath对url_conten进行解析
10 #使用xpath解析从网络上获取的数据
11 tree=etree.HTML(url_content)
12 #解析获取当页所有段子的标题
13 title_list=tree.xpath(‘//div[@class="log cate10 auth1"]/h3/a/text()‘)
14 
15 ele_div_list=tree.xpath(‘//div[@class="log cate10 auth1"]‘)
16 
17 text_list=[] #最终会存储12个段子的文本内容
18 for ele in ele_div_list:
19     #段子的文本内容（是存放在list列表中）
20     text_list=ele.xpath(‘./div[@class="cont"]//text()‘)
21     #list列表中的文本内容全部提取到一个字符串中
22     text_str=str(text_list)
23     #字符串形式的文本内容防止到all_text列表中
24     text_list.append(text_str)
25 print(title_list)
26 print(text_list)

 1 - from bs4 import BeautifulSoup
 2         - 使用方式：可以将一个html文档，转化为BeautifulSoup对象，然后通过对象的方法或者属性去查找指定的内容
 3           （1）转化本地文件：
 4               - soup = BeautifulSoup(open(‘本地文件‘), ‘lxml‘)
 5           （2）转化网络文件：
 6               - soup = BeautifulSoup(‘字符串类型或者字节类型‘, ‘lxml‘)
 7           （3）打印soup对象显示内容为html文件中的内容
 8     （1）根据标签名查找
 9         - soup.a   只能找到第一个符合要求的标签
10     （2）获取属性
11         - soup.a.attrs  获取a所有的属性和属性值，返回一个字典
12         - soup.a.attrs[‘href‘]   获取href属性
13         - soup.a[‘href‘]   也可简写为这种形式
14     （3）获取内容
15         - soup.a.string
16         - soup.a.text
17         - soup.a.get_text()
18        【注意】如果标签还有标签，那么string获取到的结果为None，而其它两个，可以获取文本内容
19     （4）find：找到第一个符合要求的标签
20         - soup.find(‘a‘)  找到第一个符合要求的
21         - soup.find(‘a‘, title="xxx")
22         - soup.find(‘a‘, alt="xxx")
23         - soup.find(‘a‘, class_="xxx")
24         - soup.find(‘a‘, id="xxx")
25     （5）find_all：找到所有符合要求的标签
26         - soup.find_all(‘a‘)
27         - soup.find_all([‘a‘,‘b‘]) 找到所有的a和b标签
28         - soup.find_all(‘a‘, limit=2)  限制前两个
29     （6）select:soup.select(‘#feng‘)
30         - 根据选择器选择指定的内容
31         - 常见的选择器：标签选择器(a)、类选择器(.)、id选择器(#)、层级选择器
32             - 层级选择器：
33                 div .dudu #lala .meme .xixi  下面好多级
34                 div > p > a > .lala          只能是下面一级
35         【注意】select选择器返回永远是列表，需要通过下标提取指定的对象

 1 #!/usr/bin/env python
 2 # -*- coding:utf-8 -*-
 3 import requests
 4 from bs4 import BeautifulSoup
 5 
 6 headers={
 7          ‘User-Agent‘: ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36‘,
 8      }
 9 def parse_content(url):
10     #获取标题正文页数据
11     page_text = requests.get(url,headers=headers).text
12     soup = BeautifulSoup(page_text,‘lxml‘)
13     #解析获得标签
14     ele = soup.find(‘div‘,class_=‘chapter_content‘)
15     content = ele.text #获取标签中的数据值
16     return content
17 
18 if __name__ == "__main__":
19      url = ‘http://www.shicimingju.com/book/sanguoyanyi.html‘
20      reponse = requests.get(url=url,headers=headers)
21      page_text = reponse.text
22 
23      #创建soup对象
24      soup = BeautifulSoup(page_text,‘lxml‘)
25      #解析数据
26      a_eles = soup.select(‘.book-mulu > ul > li > a‘)
27      print(a_eles)
28      cap = 1
29      for ele in a_eles:
30          print(‘开始下载第%d章节‘%cap)
31          cap+=1
32          title = ele.string
33          content_url = ‘http://www.shicimingju.com‘+ele[‘href‘]
34          content = parse_content(content_url)
35 
36          with open(‘./sanguo.txt‘,‘w‘) as fp:
37              fp.write(title+":"+content+‘\n\n\n\n\n‘)
38              print(‘结束下载第%d章节‘%cap)