突然发现自己被耽误了好多，万恶的社会生活。 ...
分类：
Web程序 时间：
2017-08-30 11:09:15
阅读次数：
255
# -*- coding: utf-8 -*- import scrapy import requests from daomu.items import DaomuItem from pyquery import PyQuery as pq class DaomuspiderSpider(scra... ...
分类：
其他好文 时间：
2017-06-29 11:26:25
阅读次数：
264
my噶地~~ 学习了一段时间爬虫，了解最基本的模块。要开始连接数据库啦，遇到小问题，随笔mark。 爬虫就是在网页上解析数据，一开始只能爬到pycharm的显示栏，高级一点点的有图形化界面，可以爬取小说、文字、图片、小视频and so on，， 爬虫必备模块之urllib、urllib2、re、be ...
分类：
数据库 时间：
2017-06-07 15:43:20
阅读次数：
232
爬取小说网站的小说，并保存到数据库第一步：先获取小说内容#!/usr/bin/python
#-*-coding:UTF-8-*-
importurllib2,re
domain=‘http://www.quanshu.net‘
headers={
"User-Agent":"Mozilla/5.0(WindowsNT6.3;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/58.0.3029.1..
分类：
数据库 时间：
2017-06-01 00:28:26
阅读次数：
689
转载请注明作者和出处：http://blog.csdn.net/c406495762
运行平台： Windows
Python版本： Python3.x
IDE： Sublime text3
分类：
编程语言 时间：
2017-05-09 16:51:04
阅读次数：
326
1、爬取页面 http://www.quanshu.net/book/9/9055/ 2、用到模块urllib（网页下载),re正则匹配取得title及titleurl,urlparse(拼接完整url),MySQLdb(导入MySQL） 数据库 3、for 循环遍历列表 取得盗墓笔记章节title ...
分类：
数据库 时间：
2016-12-02 03:30:11
阅读次数：
281
本次实战项目适合，有一定Python语法知识的小白学员。本人也是根据一些网上的资料，自己摸索编写的内容。有不明白的童鞋，欢迎提问。 目的：爬取百度小说吧中的原创小说《猎奇师》部分小说内容 链接：http://tieba.baidu.com/p/4792877734 首先，自己定义一个类，方便使用。其 ...
分类：
编程语言 时间：
2016-10-14 23:42:00
阅读次数：
221
本人喜欢在网上看小说，一直使用的是小说下载阅读器，可以自动从网上下载想看的小说到本地，比较方便。最近在学习Python的爬虫，受此启发，突然就想到写一个爬取小说内容的脚本玩玩。于是，通过在逐浪上面分析源代码，找出结构特点之后，写了一个可以爬取逐浪上小说内容的脚本..
分类：
编程语言 时间：
2015-05-28 14:23:38
阅读次数：
318
