基于 Scrapy-redis 的分布式爬虫设计 目录 前言 安装 环境 Debian / Ubuntu / Deepin 下安装 Windows 下安装 基本使用 初始化项目 创建爬虫 运行爬虫 爬取结果 进阶使用 分布式爬虫 anti-anti-spider URL Filter 总结 相关资料 ...
分类:
其他好文 时间:
2018-08-22 12:43:09
阅读次数:
243
一: 命名规范 1 : 字母开头,由字母/下划线/数字组成。 2 : 不要有中文/特殊字符。 3 : 不要和系统模块或第三方模块重名(如: selenium/requests)。 4 : 可以使用,驼峰命名法或者下划线命名法 二: 创建工程 1 : 打开PyCharm,进入页面: File -> N ...
分类:
其他好文 时间:
2018-08-22 12:43:02
阅读次数:
227
· mac查看文件encoding #查看编码 vi 文件路径 : set fileencoding #更改编码 iconv -f utf-8 -t gbk 文件路径 > 新文件路径 · mac 下更新 .bash_profile 文件 #配置全局变量 1、打开terminal(终端) 2、cd ~ ...
分类:
系统相关 时间:
2018-08-22 12:42:45
阅读次数:
182
本章包含创建一个django程序最必不可少的步骤 在服务器上部署它 如果你一直跟着我们的例子做,你可能正在用runserver 但是runserver 要部署你的django程序,你需要挂接到工业用的服务器 如:Apache 在本章,我们将展示如何做,但是,在做之前我们要给你一个(要做的事的)清单. ...
分类:
其他好文 时间:
2018-08-22 12:42:28
阅读次数:
233
学习一门语言最怕的就是没有目标,在出发之前心里必须明确你想要做什么,这是我这个还没入门的新人给初学者的忠告。 推荐几本初学者Python教程: 2018-8-22更新 新增tkinter编写GUI界面:《Python GUI Programming Cookbook》《2014年度辛星Tkinter ...
分类:
编程语言 时间:
2018-08-22 12:42:05
阅读次数:
127
书接上文:前几回文章中,我们花了三天的时间简单了解了下接口文档Swagger框架,已经完全解放了我们的以前的Word说明文档,并且可以在线进行调试,而且当项目开始之中,我们可以定义一些空的接口,或者可以返回假数据,这样真正达到了前后端不等待的缺陷,还是很不错的,当然,这离我说的前后端分离还是相差甚远 ...
PLSQL简介(一)【翻译】 原书:steven feuerstei oracle PLSQL grogramming 2014 PL / SQL代表“结构化查询语言和过程语言。 Oracle公司推出了PL / SQL克服SQL中的一些限制并提供更完整的编程解决方案。 什么是PLSQL Oracle ...
分类:
数据库 时间:
2018-08-22 12:41:49
阅读次数:
180
2018-08-22 11:47:47 -python这门语言火了一段时间,诸如我这样的对python不甚了解的也常常听到关于“人生苦短,我用python”的豪言。这个暑假,2018年8月10号开始,我开启了python全栈开发的学习之路。第一,记录自己每阶段的学习状态;第二,分享自己的学习过程。我 ...
分类:
编程语言 时间:
2018-08-22 12:41:41
阅读次数:
157
图片轮播的大概功能: 图片是以滑动的方式出现的 可以点击按钮来滑动到上一张和下一张 当下一张没有了,就左滑到下一张。当上一张没有了,就右滑到最后一张 可以点击导航小圆点来跳转到指定的某一张 鼠标在图片外时,图片可以自动滑动 鼠标停留在图片上停止滑动 其中的难点,核心就是第一点和第三点,做完这两点图片 ...
分类:
其他好文 时间:
2018-08-22 12:41:34
阅读次数:
263
在前端UI设计时,网页的制作很麻烦,深有感悟!碰到太多的不懂,或是第一次见,就要去网上找资料!横向滚动条就是我遇到麻烦中其中的一个,其实也 很简单,只是在几次项目中都用到了这个横向滚动条所以就拿出来说一下。 需求界面 如下图: 就是一个div里面放很多button,超出div宽度,下方出现横向滚动条 ...
分类:
Web程序 时间:
2018-08-22 12:41:26
阅读次数:
216
概述: CSS 规则由两个主要的部分构成:选择器,以及一条或多条声明: CSS声明总是以分号(;)结束,声明组以大括号({})括起来: 一、注释: CSS注释以 "/*" 开始, 以 "*/" 结束 eg: /*p{color:red;text-align:center;}*/ 二、插入css样式表 ...
分类:
Web程序 时间:
2018-08-22 12:41:18
阅读次数:
201
1. 死锁与解锁: 2. 迅雷面试题: 编写一个程序,开启3个线程,这3个线程的ID分别为A、B、C,每个线程将自己的ID在屏幕上打印10遍, 要求输出结果必须按ABC的顺序显示。如:ABCABC...,依次递推。 【参考答案】 运行结果: 【分析】若题目变为:4个线程,输出结果要求为: ABCDA ...
分类:
编程语言 时间:
2018-08-22 12:41:12
阅读次数:
187
FTP的主动模式和被动模式的相关知识。在使用FTP时,如果客户端机器和FTP服务器双方之间的所有端口都是开放的,那连接不存在问题。如果客户端与服务器之间有防火墙,如果没配置好防火策略和采用合适的连接模式,会导致登录成功,但无法List列表的问题。要避免出现这样的问题,首先要了解FTP的工作模式。1.FTP的PORT(主动模式)和PASV(被动模式)(1)PORT(主动模式)PORT中文称为主动模式
分类:
其他好文 时间:
2018-08-22 12:41:04
阅读次数:
153
环境说明环境IP需要安装的程序客户端192.168.24.188zabbix_agentd1.关闭防火墙和SELINUX[root@linfan~]#systemctlstopfirewalld[root@linfan~]#systemctldisablefirewalld[root@linfan~]#sed-ri‘s/(SELINUX=.*)/\1disabled/g‘/etc/selinux/
分类:
其他好文 时间:
2018-08-22 12:40:54
阅读次数:
174
使用django开发,对python manage.py ***命令模式肯定不会陌生。比较常用的有runserver,migrate。。。 本文讲述如何自定义扩展manage命令。 1、源码分析 manage.py文件是通过django-admin startproject project_name ...
分类:
其他好文 时间:
2018-08-22 12:40:45
阅读次数:
179