搬砖的陈大师版权所有，转载请注明：http://www.lenggirl.com/spider/zhihu.html 项目地址：https://github.com/hunterhug/zhihuxx 项目：知乎xx API 已实现功能： 待实现功能： 一.小白指南 Golang开发的爬虫，小白用户 ...
初次接触这个框架，先订个小目标，抓取QQ首页，然后存入记事本。 安装框架（http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html） 创建一个项目，项目根目录输入 在spiders文件夹下面新建一个qq_spider.py,写入内容 ...
分类：
其他好文 时间：
2017-07-03 23:49:39
阅读次数：
192
以下代码是二手房的数据，代码仅供参考，很简单，超级简单#encoding:utf8import requestsimport re调用网址def spider(url): html = requests.get(url).content.decode('utf8')数据的正则，如果你感觉你用正则匹配 ...
分类：
其他好文 时间：
2017-07-03 17:29:09
阅读次数：
135
# scrapy爬取西刺网站ip # -*- coding: utf-8 -*- import scrapy from xici.items import XiciItem class XicispiderSpider(scrapy.Spider): name = "xicispider" allo... ...
分类：
Web程序 时间：
2017-07-03 13:52:56
阅读次数：
190
scrapy.Spider的属性和方法 属性: name:spider的名称,要求唯一 allowed_domains:允许的域名,限制爬虫的范围 start_urls:初始urls custom_settings:个性化设置,会覆盖全局的设置 crawler:抓取器,spider将绑定到它上面 c... ...
分类：
其他好文 时间：
2017-07-02 13:03:15
阅读次数：
185
#!/bin/bash #version 1.1 #by zengj #using checking urls . /etc/init.d/functions checkurl() { wget -o /dev/null -T 3 --tries 1 --spider $1 > /dev/null ... ...
分类：
系统相关 时间：
2017-07-01 13:48:29
阅读次数：
194
这两天在写东西的时候遇到了这个问题，主要是上传图片之后，无法在页面展示，原因就出在用join 拼接的路径中出现了"\"而造成的。 还有一种方式就是进行字符串的拼接处理： ...
分类：
编程语言 时间：
2017-07-01 09:47:14
阅读次数：
534
useGeneratedKeys="true" keyProperty="id" <insert id="insertReturnPrimaryKey" parameterType="com.haitao55.spider.order.robot.platform.dos.TaskHistoryDO ...
分类：
其他好文 时间：
2017-06-30 11:05:17
阅读次数：
100
1 # -*- coding: utf-8 -*- 2 # scrapy爬取豆瓣电影top250 3 4 import scrapy 5 from douban.items import DoubanItem 6 7 8 class DoubanspiderSpider(scrapy.Spider)... ...
分类：
其他好文 时间：
2017-06-28 17:16:37
阅读次数：
149
IP相关统计 统计IP访问量（独立ip访问数量） 查看某一时间段的IP访问量(4-5点) 查看访问最频繁的前100个IP 查看访问100次以上的IP 查询某个IP的详细访问情况,按访问频率排序 页面访问统计 查看访问最频的页面(TOP100) 查看访问最频的页面([排除php页面】(TOP100) ...
分类：
其他好文 时间：
2017-06-28 15:47:09
阅读次数：
235
