一、复习 1、进程、线程、协程 进程:是计算机中最小的资源分配单位,数据隔离,可以利用多核,数据不安全 线程:是计算机中最小的CPU调度单位,数据共享,GIL,数据不安全 协程:是线程的一部分,是由用户来调度,数据共享,数据安全 2、同步、异步、阻塞、非阻塞 异步:同时做不止一件事 同步:事情一件做 ...
分类:
编程语言 时间:
2018-06-20 18:53:39
阅读次数:
196
知道一个网络爬虫产品,瑞雪采集云,还是有一些特点的:瑞雪采集云是一个PaaS在线开发平台,与图形配置化爬虫客户端工具相比,瑞雪采集云提供的是通用采集能力,能够满足企业客户数据采集业务的长期需求。主要特点如下:(一)一站式通用能力集成,指数级提高开发效率。平台封装了丰富的通用功能,开发者不需要关心(二)开发自由度高,支持复杂网站的采集。(三)分布式任务调度机制,并发采集效率高。(四)强大的任务管理机
分类:
其他好文 时间:
2018-06-18 23:49:21
阅读次数:
327
rpm、yum rpm包安装: 命名:eg:xlockmore-5.31-2.el6.x86_64.rpm 软件包名字-主版本号.次版本号-发行版本号.系统版本.cpu的架构.rpm 构成: 软件包的元数据信息(软件版本、作者、安装前后需要执行的脚本等)+软件文件(程序、配置文件、文档等) 选择: ...
分类:
其他好文 时间:
2018-06-18 01:16:29
阅读次数:
247
HTTP协议中文名称是超文本传输协议,是一个基于请求与响应模式的、无状态的、应用层的协议,常基于TCP的连接方式。请求和响应模式很好理解,客户端发送请求,服务器响应客户端的请求,就像学校食堂打菜一样,你和打菜阿姨说要哪份菜,她才会给你盛哪份菜 状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果 ...
分类:
其他好文 时间:
2018-06-17 19:45:42
阅读次数:
127
1.概述 在Kafka0.9版本之前,Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址,例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后,连接到Kafk ...
分类:
其他好文 时间:
2018-06-17 10:52:32
阅读次数:
195
队列是一种数据结构,是数据安全的,数据安全的。队列能干的事情列表都能干。列表是线程不安全的,所以可以说队列是针对多线程出现的。 数据结构是用来存储数据用的,只不过各种数据结构的存储方式不同。比如:集合、队列、映射 列表:按索引值存储 字典:按key值的哈希表存储 list.pop() #按索引删除 ...
分类:
编程语言 时间:
2018-06-14 11:32:46
阅读次数:
149
数据库中数据对一个企业的重要性不用多说. 我公司在数据安全方面的一些做法,以达到抛砖引玉的目的. 1、定期数据备份和更新 定期进行数据备份,可以在数据发生意外损失的情况下进行灾难恢复,最大限度地避免损失。并且还要实时通过网络传送到备份系统,备份系统则根据日志对磁盘进行更新。 2、异地备份 远程数据库 ...
分类:
数据库 时间:
2018-06-14 01:13:57
阅读次数:
199
一、昨日内容回顾: 1. 守护进程 1)、p.saemon, 2 )、p.terminate 3 )、p.join 2. 同步控制 1)、锁,Lock 互斥锁,解决数据安全、进程之间资源抢占问题。 2)、信号量,Semaphore 锁+计数器 3)、事件,Event 通过一个标志位flag来控制进程 ...
分类:
编程语言 时间:
2018-06-13 19:37:42
阅读次数:
182
这两天 一直和京东对接接口,我们用.net api 提供接口,对方用java调用,本来没什么问题,但是对方对数据安全要求特别严,要验签,于是噩梦开始了。 1、在传输的时候,约定传输格式: 2、双方平台对编码不一致,所以在对数据进行MD5加密前,先进行UTF8编码: 3、我们遇到了这个问题:https ...
分类:
编程语言 时间:
2018-06-13 15:06:12
阅读次数:
192
输入输出重定向 1.概述 输入重定向:指吧文件导入到命令中。 标准输入重定向(STDIN,文件描述符为0):默认从键盘输入,也可以从其他文件或命令中输入。 输出重定向:把原来要输出到屏幕的数据信息写入到指定文件中。 标准输出重定向(STDOUT,文件描述符为1):默认输出到屏幕。 错误输出重定向(S ...
分类:
其他好文 时间:
2018-06-12 18:34:13
阅读次数:
164