转载出处：药少敏   ，感谢原作者清晰的讲解思路！

下述代码是我通过自己互联网搜索和拜读完此篇文章之后写出的具有同样效果的爬虫代码：

 1 from bs4 import BeautifulSoup
 2 import requests
 3 
 4 if __name__ == ‘__main__‘:
 5     html = requests.get(‘http://www.136book.com/huaqiangu/‘)
 6     soup = BeautifulSoup(html.content, ‘lxml‘)
 7     #获取所有div
 8     soup_texts = soup.find_all(‘div‘, id = ‘book_detail‘, class_= ‘box1‘)
 9     
10     f=open(‘F:/huaqiangu.txt‘, ‘w‘)
11     
12     #第二个div有用
13     for x in soup_texts[1].find_all(‘a‘):
14         #控制台输出网址，章节标题
15         print(x.get(‘href‘),x.get_text())
16 
17         down_html = requests.get(x.get(‘href‘))
18         down_soup = BeautifulSoup(down_html.content, ‘lxml‘)
19         #获取正文
20         down_texts = down_soup.select(‘p‘)
21 
22         f.write(‘\n\n‘)
23         #写入章节标题
24         f.write(x.get_text() + ‘\n‘)      
25         #写入章节内容
26         for s in down_texts:
27             f.write(s.text)
28 
29     f.close()

知识就像碎布，记得“缝一缝”，你才能华丽丽地亮相。

1.Beautiful Soup

1.Beautifulsoup 简介

此次实战从网上爬取小说，需要使用到Beautiful Soup。
Beautiful Soup为python的第三方库，可以帮助我们从网页抓取数据。
它主要有如下特点：

• 1.Beautiful Soup可以从一个HTML或者XML提取数据，它包含了简单的处理、遍历、搜索文档树、修改网页元素等功能。可以通过很简短地代码完成我们地爬虫程序。
• 2.Beautiful Soup几乎不用考虑编码问题。一般情况下，它可以将输入文档转换为unicode编码，并且以utf-8编码方式输出，

2.Beautiful Soup安装

win命令行下：

3.Beautiful Soup基础

大家可以参考文档来学习（中文版的哦）：

对于本次爬虫任务，只要了解以下几点基础内容就可以完成：
1.Beautiful Soup的对象种类：

• Tag
• Navigablestring
• BeautifulSoup
• Comment

2.遍历文档树：find、find_all、find_next和children
3.一点点HTML和CSS知识（没有也将就，现学就可以）

2.爬取小说花千骨

1.爬虫思路分析

本次爬取小说的网站为136书屋。

先打开花千骨小说的目录页，是这样的。

我们的目的是找到每个目录对应的url，并且爬取其中地正文内容，然后放在本地文件中。

2.网页结构分析

首先，目录页左上角有几个可以提高你此次爬虫成功后成就感的字眼：暂不提供花千骨txt全集下载。

继续往下看，发现是最新章节板块，然后便是全书的所有目录。我们分析的对象便是全书所有目录。点开其中一个目录，我们便可以都看到正文内容。

按F12打开审查元素菜单。可以看到网页前端的内容都包含在这里。

我们的目的是要找到所有目录的对应链接地址，爬取每个地址中的文本内容。

有耐心的朋友可以在里面找到对应的章节目录内容。有一个简便方法是点击审查元素中左上角箭头标志的按钮，然后选中相应元素，对应的位置就会加深显示。

这样我们可以看到，每一章的链接地址都是有规则地存放在<li>中。而这些<li>又放在<div id=”book_detail” class=”box1″>中。

我不停地强调“我们的目的”是要告诉大家，思路很重要。爬虫不是约pao，蒙头就上不可取。

知识就像碎布，记得“缝一缝”，你才能华丽丽地亮相。

1.Beautiful Soup

1.Beautifulsoup 简介

此次实战从网上爬取小说，需要使用到Beautiful Soup。
Beautiful Soup为python的第三方库，可以帮助我们从网页抓取数据。
它主要有如下特点：

• 1.Beautiful Soup可以从一个HTML或者XML提取数据，它包含了简单的处理、遍历、搜索文档树、修改网页元素等功能。可以通过很简短地代码完成我们地爬虫程序。
• 2.Beautiful Soup几乎不用考虑编码问题。一般情况下，它可以将输入文档转换为unicode编码，并且以utf-8编码方式输出，

2.Beautiful Soup安装

win命令行下：

3.Beautiful Soup基础

大家可以参考文档来学习（中文版的哦）：

对于本次爬虫任务，只要了解以下几点基础内容就可以完成：
1.Beautiful Soup的对象种类：

• Tag
• Navigablestring
• BeautifulSoup
• Comment

2.遍历文档树：find、find_all、find_next和children
3.一点点HTML和CSS知识（没有也将就，现学就可以）

2.爬取小说花千骨

1.爬虫思路分析

本次爬取小说的网站为136书屋。

先打开花千骨小说的目录页，是这样的。

我们的目的是找到每个目录对应的url，并且爬取其中地正文内容，然后放在本地文件中。

2.网页结构分析

首先，目录页左上角有几个可以提高你此次爬虫成功后成就感的字眼：暂不提供花千骨txt全集下载。

继续往下看，发现是最新章节板块，然后便是全书的所有目录。我们分析的对象便是全书所有目录。点开其中一个目录，我们便可以都看到正文内容。

按F12打开审查元素菜单。可以看到网页前端的内容都包含在这里。

我们的目的是要找到所有目录的对应链接地址，爬取每个地址中的文本内容。

有耐心的朋友可以在里面找到对应的章节目录内容。有一个简便方法是点击审查元素中左上角箭头标志的按钮，然后选中相应元素，对应的位置就会加深显示。

这样我们可以看到，每一章的链接地址都是有规则地存放在<li>中。而这些<li>又放在<div id=”book_detail” class=”box1″>中。

我不停地强调“我们的目的”是要告诉大家，思路很重要。爬虫不是约pao，蒙头就上不可取。