一、前言上文说明了scrapy框架的基础知识，本篇实现了爬取第九中文网的免费小说。#二、scrapy实例创建1、创建项目C:\Users\LENOVO\PycharmProjects\fullstack\book9>scrapystartprojectbook92、定义要爬取的字段（item.py）importscrapyclassBook9Item(scrapy.Item):#define
分类：
其他好文 时间：
2018-06-04 17:49:49
阅读次数：
167
1.主题 爬取小说网站的《全职高手》小说第一章 2.代码 导入包 取出所需要的标题和正文 定义一个获取所有章节 url的函数 去掉句子中多余的部分 将数据放入txt文本文件 读取要生成词云的文件和生成形状的图片 进行分隔 设置词云生成图片的样式 显示词云生成的图片 3.数据截图 4.遇到的问题及解决 ...
分类：
其他好文 时间：
2018-04-30 17:57:58
阅读次数：
200
1前言 这个小程序是用来爬取小说网站的小说的，一般的盗版小说网站都是很好爬取的 因为这种网站基本没有反爬虫机制的，所以可以直接爬取 该小程序以该网站http://www.126shu.com/15/下载全职法师为例 2.requests库 文档：http://www.python requests. ...
分类：
编程语言 时间：
2018-03-31 00:42:54
阅读次数：
248
转载出处：药少敏 ，感谢原作者清晰的讲解思路！ 下述代码是我通过自己互联网搜索和拜读完此篇文章之后写出的具有同样效果的爬虫代码： 知识就像碎布，记得“缝一缝”，你才能华丽丽地亮相。 1.Beautiful Soup 1.Beautifulsoup 简介 此次实战从网上爬取小说，需要使用到Beauti ...
分类：
编程语言 时间：
2018-02-27 15:56:23
阅读次数：
226
一、Beautiful Soup简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据 ...
分类：
编程语言 时间：
2018-02-05 23:21:07
阅读次数：
387
# 程序启动文件 start.py#!/usr/bin/python # -*- coding: utf-8 -*- import os, sys BASEPATH = os.path.dirname(os.path.dirname(os.path.realpath(__file__))) prin... ...
分类：
其他好文 时间：
2018-01-24 22:09:40
阅读次数：
164
总的来说起点小说还是挺好爬的，就是爬取小说的时候太慢了，4000多本小说就爬了2天一夜 首先爬取的是网页的所有类别，并把类别名存入到mongodb中，链接存到redis中： ...
分类：
其他好文 时间：
2017-12-05 21:16:29
阅读次数：
176
本次爬取小说的网站为136书屋。 先打开花千骨小说的目录页，是这样的。 我们的目的是找到每个目录对应的url，并且爬取其中地正文内容，然后放在本地文件中。 2.网页结构分析 首先，目录页左上角有几个可以提高你此次爬虫成功后成就感的字眼：暂不提供花千骨txt全集下载。 继续往下看，发现是最新章节板块， ...
分类：
其他好文 时间：
2017-10-29 12:55:38
阅读次数：
219
写在前面：第一次使用爬虫，甚至都算不上爬虫，水平有限，主要作为学习记录。 主要业务流程如下： 使用python的requests模块获取页面信息 通过re模块（正则表达式）取出需要的内容（小说标题，正文） 通过MysqlDB模块入库 使用webpy模块进行访问 下面是效果图，简单实现了点击上一页、下 ...
分类：
编程语言 时间：
2017-09-27 22:31:16
阅读次数：
202
