任何一个复杂的软件系统，为了提高其适应性和扩展性，一般都会有一个配置模块或者配置系统，作完成其扩展、定制的手段和方式。1.1. Windows的配置文件（第一次知道这事啊）：采用的是ini后缀的文本文件，可通过动态链接库提供方法进行处理。初始化文件或profile概要文件1.2. Java配置文件：...
分类：
其他好文 时间：
2014-07-16 23:31:06
阅读次数：
340
1.1. 压缩减少存储空间，加快传输速率在hadoop中，压缩应用于文件存储、Map端到Reduce端的数据交换等情景。hadoop，主要考虑压缩速率和压缩文件的可分割性压缩算法：时间和空间的权衡 更快的压缩和解压缩效率通常压缩比较低。hadoop提供了对压缩算法的编码和解码器类编码和解码示例（采用...
分类：
其他好文 时间：
2014-07-01 12:13:27
阅读次数：
222
Spark1.0.0发布一个多月了，那么它有多少行代码（Line of Code, LOC）？...
分类：
其他好文 时间：
2014-07-01 08:08:16
阅读次数：
192
书籍学习——董西成《Hadoop技术内幕 深入解析HADOOP COMMON和HDFS架构设计与实现原理》HDFS 高容错，高伸缩性Lucene是引擎开发包，提供了一个纯java的高性能全文检索，可方便的嵌入到各种应用中实现全文搜索/索引功能。Nutch是以Lucene为基础实现的搜索引擎应用，Lu...
分类：
其他好文 时间：
2014-06-27 12:15:57
阅读次数：
221
一、java内建序列化机制 java序列化机制将对象转换为连续的byte数据，这些数据可以在日后还原为原先的对象状态，还能自动处理不同操作系统上的差异，也不用担心字节排列次序。 java的类实例可被序列化只要在类声明中加入implements Serializable即可。Serializabl.....
分类：
其他好文 时间：
2014-06-25 23:07:38
阅读次数：
255
本文详细讲解了Spark在Standalone模式下的Master的HA的源码分析。
为了解决Standalone模式下的Master的SPOF，Spark采用了ZooKeeper提供的选举功能。Spark并没有采用ZooKeeper原生的Java API，而是采用了Curator，一个对ZooKeeper进行了封装的框架。采用了Curator后，Spark不用管理与ZooKeeper的连接，这些对于Spark来说都是透明的。Spark仅仅使用了100行代码，就实现了Master的HA。当然了，Spark是...
分类：
其他好文 时间：
2014-06-25 07:59:09
阅读次数：
183
配置系统是复杂软件必不可少的一部分，org.apache.hadoop.conf.Configuration在Hadooop各个子项目中发挥着重要作用。 windows系统广泛使用一种特殊批的ASCII文件.ini作为其主要配置文件标准，被称为（Initialization File）或概要文...
分类：
其他好文 时间：
2014-06-24 09:11:43
阅读次数：
248
本文分析了Spark1.0.0的Client，Master和Worker之间是如何通信的。通过对通信的分析，可以清楚的理解各个角色的作用和责任，和它在集群中扮演的不同角色。
当然了，为了便于源码分析，本文开始分析了akka，一个非常优秀的actor的实现：高性能，易于编程，可扩展和弹性无中心。...
分类：
其他好文 时间：
2014-06-18 06:59:54
阅读次数：
183
表4.1、innodb存储引擎表类型innodb表类似oracle的IOT表(索引聚集表-indexorganized table)，在innodb表中每张表都会有一个主键，如果在创建表时没有显示的定义主键则innodb如按照如下方式选择或者创建主键。首先表中是否有唯一非空索引(unique not...
分类：
数据库 时间：
2014-06-15 00:05:51
阅读次数：
444
转自：http://blog.csdn.net/wyzxg/article/details/7700394其他参考：《高性能MySQL》 - 8.4.5
InnoDB缓冲池《MySQL技术内幕InnoDB存储引擎》（第二版内容有所更新） - 2.3 InnoDB体系结构###############...
分类：
数据库 时间：
2014-06-06 21:02:59
阅读次数：
549
