0x00 介绍 网络爬虫，常又被称呼为Spider，网络机器人，主要模拟网络交互协议，长时间，大规模的获取目标数据。 普通爬虫会从网站的一个链接开始，不断收集网页资源，同时不断延伸抓取新获取的URL以及相应的资源。 在对抓取目标内容结构分析的基础上，还会有目的性更强的聚焦型爬虫。 爬虫对网站的抓取， ...
分类：
其他好文 时间：
2019-05-10 14:52:29
阅读次数：
144
1、什么是连接池 数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而不是再重新建立一个。 2、使用连接池的优点 （1）一个普通的java程序，查询数据库数据的基本流程： 可以看到：进行一次查询，要进行很多次网络交互，这样的缺点是： 1. 网络IO多 2. 响应 ...
分类：
数据库 时间：
2019-04-15 16:21:52
阅读次数：
174
IO IO input output 在内存中存在数据交换的操作都可以认为是IO操作 和终端交互 ： input print 和磁盘交互 ： read write 和网络交互 ： recv send IO密集型程序：在程序执行过程中存在大量IO操作，而cpu运算操作较少，消耗cpu较少，运行效率较低 ...
分类：
编程语言 时间：
2019-04-04 14:36:08
阅读次数：
188
一、需求场景：因为目前客户端和平台端有两套数据库，两套数据库通过网络交互信息，且双方都可以发起支付，这种结构容易造成： 1、一笔订单同时支付、一笔订单支付时未按最新订单进行支付，支付多付、支付少付的情况； 2、客户端在加菜，扫码点餐在结账，最终结账金额与订单金额不一致；此类问题不仅对用户使用体验造成 ...
分类：
其他好文 时间：
2019-03-18 16:41:31
阅读次数：
207
分布式存储之-Redis 一、简介redis常用于数据库读缓存和写缓存，通常写缓存需要考虑到数据一致性的问题，读缓存应用较多redis是一个开源的，使用c语言编写的，支持网络交互的，可基于内存也可持久化的key-value数据库 二、安装部署 通过salt-master批量安装： vim redis ...
分类：
其他好文 时间：
2019-01-28 13:54:49
阅读次数：
162
一、redis是什么： 1、是一个开源的、使用C语言编写的、支持网络交互的、基于内存可持久化的高性能key-value型NoSQL数据库。 二、redis的主要特性： 1、速度快（数据存在内存为主要原因） 2、持久化（redis有RDB、AOF两种持久化方式） 3、多种数据结构（String、Has ...
分类：
其他好文 时间：
2019-01-28 10:43:04
阅读次数：
183
首发于 樊浩柏科学院 Redis 的 管道 （pipelining）是用来打包多条无关命令批量执行，以减少多个命令分别执行带来的网络交互时间。在一些批量操作数据的场景，使用管道可以显著提升 Redis 的读写性能。 原理演示 Redis 的管道实质就是命令打包批量执行，多次网络交互减少到单次。使用管 ...
分类：
其他好文 时间：
2018-12-13 12:44:03
阅读次数：
172
Redis 的 管道 （pipelining）是用来打包多条无关命令批量执行，以减少多个命令分别执行带来的网络交互时间。在一些批量操作数据的场景，使用管道可以显著提升 Redis 的读写性能。 原理演示 Redis 的管道实质就是命令打包批量执行，多次网络交互减少到单次。使用管道和不使用管道时的交互 ...
分类：
其他好文 时间：
2018-12-11 18:18:48
阅读次数：
174
个人感悟：首先我觉的要想学好一门语言不论是是什么语言：java，C，python，PHP，都要弄明白网络请求与响应，过程，osi模型等，我觉的这个最基础的，但是今天我需要解决的是网络交互时发生的"黏包"问题，行了不啰嗦了让我们进入正题吧。黏包现象让我们基于tcp先制作一个远程执行命令的程序（命令ls-l;lllllll;pwd）这块我们需要注意下res=subprocess.P
分类：
其他好文 时间：
2018-11-21 17:44:13
阅读次数：
166
说chrome插件编写的先关文章， 首推小茗的 "【干货】Chrome插件(扩展)开发全攻略" 。 有非常完善的理论，引用和demo代码。 但是还是建议看官方的 "chrome extensions" 。 chrome 插件是什么，能做什么 增强浏览器功能，HTML、CSS、JS、图片等资源组成的一 ...
分类：
其他好文 时间：
2018-11-13 21:44:42
阅读次数：
184
