基于python对淘宝模特个人信息进行筛选爬取，数据清洗，持久化写入mysql数据库.使用django对数据库中的数据信息筛选并生成可视化报表进行分析。数据爬取，筛选，存库：#-*-coding:utf-8-*-
importrequests
frombs4importBeautifulSoup
importsys
importre
reload(sys)
sys.set..
分类：
编程语言 时间：
2017-08-04 09:58:03
阅读次数：
328
1.HDFS架构： NameNode保存元数据信息，包含文件的owner，permission。block存储信息等。存储在内存。 2.HDFS设计思想 文件以块的形式存贮，即block，大小为64M。大于64的文件分块，小于64则为1块。文件在上传的时候会产生副本，副本与原文件在不同的节点上，这样 ...
分类：
其他好文 时间：
2017-08-01 09:17:20
阅读次数：
142
一.NameNode，SeconderyNamenode，DataNode NameNode，DataNode，SeconderyNamenode都是进程，运行在节点上。 1.NameNode：hadoop的主节点， 保存HDFS的元数据信息 1.fsimage - 它是在NameNode启动时对整 ...
分类：
其他好文 时间：
2017-07-31 15:57:04
阅读次数：
150
文件权限为了保障权责清晰和企业经营数据安全与保密，企业需要对系统中所有的操作人员进行分工，设置各自的功能权限，就能执行相应的操作。例如，为某个操作员设定了填制凭证的权限时，那么当该操作员注册进入账务子系统后，就可以填制凭证。只有系统管理员才有权进行权限设定..
分类：
系统相关 时间：
2017-07-30 23:49:23
阅读次数：
298
group replication是一种全新的高可用，高扩张的MySQL集群服务。高一致性，基于原生复制及paxos协议的组复制技术，以插件方式提供一致数据安全保证；高容错性，大多数服务正常就可继续工作，自动不同节点检测资源征用冲突，按顺序优先处理，内置自动防脑裂机制；高扩展性，自动添加移除节点，并 ...
分类：
数据库 时间：
2017-07-30 23:43:11
阅读次数：
329
#### <center>白盒测试</center> 1.**白盒测试**:也称结构测试或逻辑驱动测试，基于应用代码的内部逻辑，它从程序的控制结构导出测试用例,++对程序的逻辑路径进行测试++，测试是基于覆盖++*全部代码*、*分支*、*路径*、*条件*++。 2.**测试要求**： - 保证一个模 ...
分类：
其他好文 时间：
2017-07-29 17:15:21
阅读次数：
166
1，MongoDB简介 MongoDB也是一种数据库，只不过它既不是关系型数据库，也不是非关系型数据库(NoSQL)，而是一种介于关系型数据库和NoSQL之间的一种数据库。如果说非关系型数据库是轻量级的，具有存取速度快的特点。关系型数据库是重量级的，具有存储数据量大，数据安全，查询统计方便等特点。那 ...
分类：
数据库 时间：
2017-07-28 11:01:39
阅读次数：
224
Session常用方法（一） session对象用来保存一些在与每个用户回话期间需要保存的数据信息，这样就方便了回话期间的一些处理程序。如可以用session变量记住用户的用户名，以后就不必在其他的网页中重复输入了。session对象的信息保存在服务器中，但ID保存在客户机的Cookie中，如果客户 ...
分类：
其他好文 时间：
2017-07-27 22:45:24
阅读次数：
218
相比较于MogileFS，FastDFS同样有tracker和storage这样的功能分类。但是FastDFS的tracker节点的元数据信息是由各个storage节点通过tcp协议上报得到的，因此在一定程度上减轻了tracker的负载压力。storage节点以group为单位进行组织。任何一个storageserver都应该属于某个group..
分类：
其他好文 时间：
2017-07-27 22:29:06
阅读次数：
240
一、对称加密算法 1、DES、3DES DES：替换加位移，56位密钥、64位数据块、速度快、密钥易产生 3DES：两个56位密钥K1、K2，加密过程：K1加密——>K2解密——>K1加密； 解密过程：K1解密——>K2加密——>K1解密 2、RC-5 RSA数据安全公司的很多产品都使用了 RC-5 ...
分类：
编程语言 时间：
2017-07-27 22:28:17
阅读次数：
180
