本文从背景、分布式文件系统、容错机制、分布式节点距离计算法则、数据分布策略、分布式计算调度、跨IDC集群规划的两种方式、ODPS跨集群数据依赖等方面深度介绍了分布式大数据系统中全局数据调度和管理。 ...
分类：
其他好文 时间：
2017-05-19 15:42:30
阅读次数：
202
修复操作中漏洞一般可分为应用逻辑类漏洞/应用技术类漏洞/应用相关服务漏洞/其他服务漏洞。 对于web应用本身存在的SQL等技术性漏洞和各类逻辑漏洞，由于应用是自己或厂商开发的要修复一般是直接修改代码完成修复 应用类漏洞，由于应用是自己开发或厂商维护的，所以应用逻辑类和技术类漏洞一般直接修改代码。 应 ...
分类：
其他好文 时间：
2017-05-02 13:46:21
阅读次数：
165
fd=fopen()是一个系统调用。用于依据文件名称打开一个文件。返回该文件的文件描写叙述符，文件打开后进程便能够依据文件描写叙述符fd进行其它操作，比方读，写，关闭等操作。 各个操作系统打开文件的过程是类似的，本文以Unix为例，介绍打开一个文件操作系统所做的工作。正式介绍这个过程之前先简要介绍几 ...
分类：
其他好文 时间：
2017-05-01 12:06:27
阅读次数：
253
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低 ...
分类：
其他好文 时间：
2017-04-28 16:08:58
阅读次数：
267
redis 使用背景： 大数据项目，前端展示的数据，都是经过计算，直接插入oracle数据库的值，但是数据量很大，查询比较耗时。 so，使用redis做缓存。 但是，这不是我要安装redis 的原因。 我安装是，最近有点闲，装着玩玩。。。^_^ ^_^ ^_^ 在写个Jedis 的博客，Jedis很 ...
分类：
系统相关 时间：
2017-04-27 12:35:36
阅读次数：
181
saltstack自动化运维系列②之saltstack的数据系统 grains：搜集minion启动时的系统信息，只有在minion启动时才会搜集，grains更适合做一些静态的属性值的采集，例如设备的角色(role)，磁盘个数(disk_num）等诸如此类非常固定的属性，另一个作用可以用来匹配mi ...
分类：
其他好文 时间：
2017-04-19 12:45:41
阅读次数：
245
注：这里所说的实体指的是@Entity注解的类 继承映射使用@Inheritance来注解。它的strategy属性的取值由枚举InheritanceType来定义（包含SINGLE_TABLE、TABLE_PER_CLASS、JOINED。分别相应三种继承策略）。@Inheritance注解仅仅能 ...
分类：
其他好文 时间：
2017-04-15 14:47:59
阅读次数：
132
近来从华为客服系统维护转到了华为大数据系统维护，新项目里面的系统安装的都是SUSE12SP1，发现之前在suse11下关闭防火墙的方法不行了，google了一下，总结如下：serviceSuSEfirewall2_initstopchkconfigSuSEfirewall2_initoff启动操作为：serviceSuSEfirewall2_setupstartserv..
分类：
其他好文 时间：
2017-04-10 13:49:15
阅读次数：
750
我们知道Java中的jdbc是用来连接应用程序和数据系统的，本篇文章主要就来看看关于JDBC的实现和使用细节。主要包含以下几点内容：
JDBC的基本知识（数据驱动程序）
JDBC的连接配置
使用JDB...
分类：
数据库 时间：
2017-04-04 22:20:10
阅读次数：
308
问题：研究表明，在某些应用下，1∶35的比例就会使某些分类方法无效，甚至1∶10的比例也会使某些分类方法无效。（1）少数类所包含的信息就会很有限，从而难以确定少数类数据的分布，即在其内部难以发现规律，进而造成少数类的识别率低（2）数据碎片。很多分类算法采用分治法，样本空间的逐渐划分会导致数据碎片问题 ...
分类：
其他好文 时间：
2017-04-01 00:48:25
阅读次数：
291
