前言 第一次发到博客上..不太会排版见谅 最近在看一些爬虫教学的视频,有感而发,大学的时候看盗版小说网站觉得很能赚钱,心想自己也要搞个,正好想爬点小说能不能试试做个网站(网站搭建啥的都不会...) 站点拥有的全部小说不全,只能使用crawl爬全站 不过写完之后发现用scrapy爬的也没request ...
分类：
其他好文 时间：
2019-05-05 01:14:20
阅读次数：
295
[TOC] 增量式爬虫 当我们在浏览相关网页的时候会发现，某些网站定时会在原有网页数据的基础上更新一批数据，例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。那么，类似的情景，当我们在爬虫的过程中遇到时，我们是不是需要定时更新程序以便能爬取到网站中最 ...
分类：
其他好文 时间：
2019-05-04 18:40:37
阅读次数：
117
起点作为主流的小说网站，在防止数据采集反面还是做了准备的，其对主要的数字采用了自定义的编码映射取值，想直接通过页面来实现数据的获取，是无法实现的。 单独获取数字还是可以实现的，通过requests发送请求，用正则去匹配字符元素，并再次匹配其映射关系的url,获取到的数据通过font包工具解析成字典格 ...
分类：
其他好文 时间：
2019-03-28 13:42:11
阅读次数：
155
一、项目背景：?为了回顾关于django的文件上传和分页功能，打算写一个微型的小说网站练练手。花了一个下午的时间，写了个小项目，发现其中其实遇到了许多问题，不过大部分通过debug之后就解决了，其他部分通过阅读了Pagination插件以及Bootstrap-FileInput插件的官方文档。二、详细设计：?省去小说网站的用户模块的功能，小说网站主要的功能就是上传文件，在线阅读
分类：
Web程序 时间：
2019-03-15 23:17:48
阅读次数：
439
python爬虫之小说网站--下载小说(正则表达式) 思路: 1.找到要下载的小说首页,打开网页源代码进行分析(例:https://www.kanunu8.com/files/old/2011/2447.html) 2.分析自己要得到的内容,首先分析url,发现只有后面的是变化的，先获得小说的没有相 ...
分类：
编程语言 时间：
2019-01-30 11:06:02
阅读次数：
186
此程序只是单纯的为了练习而做，首先这个顶点小说非收费型的那种小说网站（咳咳，我们应该支持正版，正版万岁，?）。经常在这个网站看小说，所以就光荣的选择了这个网站。此外，其实里面是自带下载功能的，而且支持各种格式:（TXT,CHM,UMD,JAR,APK,HTML),所以可能也并没有设置什么反爬措施，我 ...
分类：
编程语言 时间：
2019-01-26 20:02:49
阅读次数：
346
公司简介：广州绿茶信息科技有限公司主要从事网站开发、定制网站、网站修改、SEO优化、软文推广、服务器维护等。服务客户几万多家，知名企业几千多家。我们致力于为客户提升品牌形象价值，提供与整体战略相匹配的品牌全案服务。我们的优势：我们的小说系统网站采用：PHP+MySQL+thinkPHP模式开发，小说阅读网站以方便、快捷、多样化和人性化为目标，建立一个能够使广大读者与作家以及网站管理员真诚沟通的阅读
分类：
Web程序 时间：
2018-10-31 17:07:26
阅读次数：
529
简悦浏览器 是一款专为iOS手机用户设计和开发的优化阅读浏览器工具，简悦浏览器通过自主开发的智能转码引擎和ACP插件可以无缝将一个普通的网站深度优化，为手机用户提供赏心悦目的阅读浏览体验。当用户使用简悦浏览器访问知名中文论坛和小说网站时，简悦浏览器会自动发现和提供最佳的转码服务，目前已经支持100+以上网站的深度优化。
分类：
其他好文 时间：
2018-10-22 20:42:09
阅读次数：
482
简悦浏览器 是一款专为iOS手机用户设计和开发的优化阅读浏览器工具，简悦浏览器通过自主开发的智能转码引擎和ACP插件可以无缝将一个普通的网站深度优化，为手机用户提供赏心悦目的阅读浏览体验。当用户使用简悦浏览器访问知名中文论坛和小说网站时，简悦浏览器会自动发现和提供最佳的转码服务，目前已经支持100+以上网站的深度优化。
分类：
其他好文 时间：
2018-10-22 20:11:11
阅读次数：
177
第二讲：几个爬取网页的实例 本讲通过几个实例来讲述一下爬取网页的基本操作，同时也复习一下上节课的内容，相信还记得通用的代码框架吧，本讲还需要用到它，哈哈哈，是不能忘记滴。 好了，开始！ 第一个实例： 让我们来运行一下看看结果： 看吧，都是小说的内容，爬下来了吧，懂了操作了吧，简单来说就是输入小说网站 ...
分类：
编程语言 时间：
2018-05-02 21:15:41
阅读次数：
134
