1.scrapy框架介绍 Scrapy是用纯Python实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架 Scrapy 特色是使用了 Twisted异步网络框架来处理网络通讯,加快了下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各种需求 1.1 scrapy框架 ...
分类:
其他好文 时间:
2018-10-01 23:10:13
阅读次数:
198
DNS信息收集--NSLOOKUP 前面文章我介绍了dig命令,NSLOOKUP命令用法差不多 简单查询 语法:nslookup domain [dns-server] nslookup www.sina.com 如果没指定dns-server,用系统默认的dns服务器 查询其他记录 语法:nslo ...
分类:
其他好文 时间:
2018-10-01 01:03:06
阅读次数:
233
吐槽:自从那篇“探讨负载均衡”那篇文章被博客园吐槽后,心里极度不平衡,思来想去还是把名字改成“负载均衡 概念认识篇”,再加多几篇文章来诠释上篇文章的精华所在。 还不了解负载均衡的,推荐你阅读:负载均衡 概念认识篇 华丽的分割线 正文开始 首先我们来回顾下上篇的概念: 负载均衡 == 分身的能力。 既 ...
分类:
其他好文 时间:
2018-09-30 18:15:08
阅读次数:
172
一、环境配置: IP:192.168.1.30 VIP:192.168.1.34 keepalive+nginxIP:192.168.1.31 VIP:192.168.1.34 keepalive+nginxIP:192.168.1.35 web1IP:192.168.1.36 web2 二、两台负 ...
分类:
其他好文 时间:
2018-09-30 14:46:50
阅读次数:
175
scrapy 安装scrapy windows可能安装失败,需要先安装c++库或twisted,pip install twisted 创建项目 该命令将会创建包含下列内容的 tutorial 目录: 编写第一个爬虫 为了创建一个Spider,您必须继承 scrapy.Spider 类,定义以下三个 ...
分类:
其他好文 时间:
2018-09-29 20:28:17
阅读次数:
163
测试结果如下: Creating thread 0Creating thread 1Creating thread 2Creating thread 3Creating thread 4Creating thread 5Creating thread 6Creating thread 7cost 2 ...
分类:
其他好文 时间:
2018-09-29 17:44:18
阅读次数:
172
A website domain like "discuss.leetcode.com" consists of various subdomains. At the top level, we have "com", at the next level, we have "leetcode.com ...
分类:
编程语言 时间:
2018-09-29 14:32:20
阅读次数:
131
直接献上代码 父组件 import { Component, OnInit } from '@angular/core'; @Component({ selector: 'ngx-input', templateUrl: ` <p>双向绑定</p> {{pvalue}} <input type="r ...
分类:
其他好文 时间:
2018-09-27 22:03:14
阅读次数:
171