一、python爬虫环境与简介 二、认识HTTP 三、简单静态网页爬取 四、常规动态网页爬取 五、模拟登陆 六、PC客户端抓包 七、Scrapy爬虫 一、python爬虫环境与简介 1、认识爬虫 （1）爬虫的概念 网络爬虫也被称为网络蜘蛛、网络机器人，是一个自动下载网页的计算机程序或自动化脚本。 网 ...
分类：
编程语言 时间：
2020-07-25 09:28:47
阅读次数：
66
静态IP和动态IP分别是什么？ 1、静态IP 分配之后长期不变的IP（即使重启了光猫后重新拨号IP依旧不变），你在某个宽带运营商那里开了账户之后，你的IP也就固定了。 这种静态IP一般都是企业使用的。 2、动态IP 动态IP意味着每次重新拨号上网后，你的IP就会发生变化，所分配的IP是变动的。在国内 ...
分类：
其他好文 时间：
2020-07-24 15:56:00
阅读次数：
380
一、背景在企业网站后台系统中，一般会将网站统计单元进行独立设计，比如登录人数的统计、IP数量的计数等。在这类需要完成全局统计的过程中，就会用到单例模式，即整个系统只需要拥有一个计数的全局对象。在网站登录这个高并发场景下，由这个全局对象负责统计当前网站的登录人数、IP等，即节约了网站服务器的资源，又能保证计数的准确性。二、单例模式1、概念单例模式是最常见的设计模式之一，也是整个设计模式中最简单的模式
分类：
其他好文 时间：
2020-07-22 20:18:56
阅读次数：
58
http和https的优缺点,区别与工作原理 文章内容： 超文本传输协议HTTP协议被用于在Web浏览器和网站服务器之间传递信息，HTTP协议以明文方式发送内容，不提供任何方式的数据加密，如果攻击者截取了Web浏览器和网站服务器之间的传输报文，就可以直接读懂其中的信息，因此，HTTP协议不适合传输一 ...
分类：
Web程序 时间：
2020-07-20 10:56:55
阅读次数：
86
1.带宽不足，首先想到的就是自己网速的问题，但是一般网速在1M以上的，打开网页一般不会是很慢的。网站服务器的带宽不够的话，当大量用户访问的时候，网页的加载也是很慢的，这就是网络的出口端和入口端两个方面 2.硬件配置低，本机的配置也会是一方面的，但是只要不是老赛扬单核+512M的配置，一般不会是电脑配 ...
分类：
Web程序 时间：
2020-07-19 11:41:48
阅读次数：
85
myphpadmin项目理解cookie和session 当我们平时上网的时候，在刷新之后或者退出浏览器再次打开浏览器不需要登陆网页了，这就是利用了cookie和session； 环境配置 hostname wanIP lanIP 角色 web01 10.0.0.7 172.16.1.7 网站服务器 ...
分类：
Web程序 时间：
2020-07-17 22:07:09
阅读次数：
95
协议 写于2020.7.14 1. HTTP HTTP（HyperText Transfer Protocol：超文本传输协议）是一种用于分布式、协作式和超媒体信息系统的应用层协议。 简单来说就是一种发布和接收 HTML 页面的方法，被用于在 Web 浏览器和网站服务器之间传递信息。HTTP是一个基 ...
分类：
Web程序 时间：
2020-07-16 18:12:01
阅读次数：
88
SNAT SNAT即源地址转换技术，能够让多个内网用户通过一个外网地址上网，解决ip资源匮乏的问题。 局域网内多用户上网拓扑 因未使用SNAT技术，所以在网站服务器应答后找不到192.168.10.10这台机器，无法正常浏览网页 因使用了SNAT地址转换技术，服务器应答后先有网关服务器接收，在分发给 ...
分类：
其他好文 时间：
2020-07-09 15:26:15
阅读次数：
72
DNS的含义和结构 众所周知，在互联网中是用IP来标识一台服务器的。IP地址虽然能够代表一台设备，但是由于记忆起来比较困难，所以将其替换成一个能够理解和识别的名字，这个名字我们称作为域名。例如：www.51cto.com 就是一个域名，在域名后面会定义一个IP地址用来指向网站服务器。那么问题来了，谁 ...
分类：
其他好文 时间：
2020-07-03 19:39:28
阅读次数：
91
