每个磁盘都有默认的数据块大小,这是磁盘进行数据读写的最小单位。构建于单个磁盘上的文件系统通过磁盘块来管理该文件系统中的块,该文件系统块的大小可以是磁盘块的数倍。文件系统一般为几千字节,而磁盘块一般为512字节。
HDFS同样也有块的概念,但是它大得多,默认为64MB。与单一磁盘上的文件系统相似,HDFS的文件也被划分为块大小的多个分块(chunk),作为独立的存储单元。但是HDFS...
分类:
其他好文 时间:
2015-03-01 13:15:58
阅读次数:
161
集群上的可用宽带限制了MapReduce作业的数量,因此最重要的一点是尽量避免map任务和reduce任务之间的数据传输。Hadoop允许用户针对map任务的输出指定一个合并函数,有时候我们也称作combiner,它就像mapper和reducer一样。
合并函数的输出作为reduce函数的输入,由于合并函数是一个优化方案,所以Hadoop无法确定针对map任务输出中任一条记录需要调...
分类:
其他好文 时间:
2015-03-01 11:57:25
阅读次数:
213
当数据集的大小超过一台独立物理计算机的存储能力时,就有必要对它进行分区并且存储到若干台单独的计算机上。管理网络中跨多台计算机存储的文件系统被称为分布式文件系统(distributed filesystem).
分布式文件系统架构于网络智商,势必会引入网络编程的复杂性,因此分布式文件系统比普通磁盘文件系统更加复杂,比如文件系统能够容忍节点故障但是不丢失数据就是一个很大的挑战。
...
分类:
其他好文 时间:
2015-03-01 11:55:38
阅读次数:
150
MapReduce是一种可用于数据处理的编程模型,该模型比较简单,但用于编写有用的程序并不简单。Hadoop可以运行由各种语言编写的MapReduce程序。MapReduce程序本质上是并行运行的,因此可以将大规模的数据分析任务交给任何一个拥有足够多机器的运营商。MapReduce的优势在于处理大规模数据集。
MapReduce任务过程被分为两个处理阶段:map阶段和reduce阶段...
分类:
其他好文 时间:
2015-03-01 00:26:33
阅读次数:
239
本以为PHP中单引號的区别这么简单而基础的知识应该是每一个PHPer都知道的,结果还是有非常多PHPer不清楚,这一点我也非常痛心,痛定思痛,于是,我们就来彻底搞定PHP中的单引號和双引號的区别,事实上非常easy的。 当PHP解析双引號的时候,会自己主动的被分析器分析一次,进行一次到字符串的...
分类:
其他好文 时间:
2015-02-28 20:03:57
阅读次数:
106
第一,构件图的概念
构件是系统中实际存在的可更换部分,它实现特定的功能,符合一套接口标准并实现一组接口。构件代表系统中的一部分物理实施,它包括软件代码(源代码、二进制代码或者可执行代码)或者其等价物(比如脚本或者命令文件)。每个构件可以单独实现一定的功能,也可以为其他构件提供使用接口。
第二,构件图的要素
构件图通常分为:执行文件、文件、库、表、文...
分类:
其他好文 时间:
2015-02-28 18:41:00
阅读次数:
202
第一,BCE是什么
所谓BCE,它是Boundary-Control-Entity Patterns,它通常也是我们绘制时序图的一种方法。 BCE模型中将对象分为三类:边界类、控制类、实体类。
第二,BCE的对象介绍
边界类:用来隔离系统内外,通常负责接收并响应系统内外消息,参与者与系统对象进行消息传递要通过边界类来实现。
控制类:一个用例会生成...
分类:
其他好文 时间:
2015-02-28 13:04:28
阅读次数:
451
第一, 时序图和通讯图
时序图和协作图很相似,两种图传递的消息大体是一致的。而且两者可以互相转化。
不同的是时序图强调的是消息的传递顺序,它是将交互关系关系表示为一个二维图,纵向是时间轴,横轴则是对象,对象的生命周期沿着竖线向下延伸。而协作图强调的则是系统之间的组织结构,重在表现对象的角色,消息的传递顺序不明显。
协作图表达的是在某个用例期间,对...
分类:
其他好文 时间:
2015-02-28 13:03:14
阅读次数:
207
第一,部署图的概念
所谓部署图,翻译为英文就是Deployment Diagram,它用来显示系统中软件和硬件的物理架构。从部署图中,我们可以了解到软件和硬件组件之间的物理关系以及物理节点的组件分布情况。使用部署图可以显示运行时系统的结构,同时还传达构成应用程序的硬件和软件元素的配置和部署方式。
第二,部署图的使用时机
软件实现完成后用部署图画出软硬件的物...
分类:
其他好文 时间:
2015-02-28 13:02:36
阅读次数:
151
首先来说状态图是一个对象的状态的描述,而活动图则是系统执行某一个用例时的具体步骤,流程图则是指程序方法或者函数执行的时间和顺序。
活动图和状态图都是状态机的一种表现形式,都是对系统中动态活动进行的建模。活动图可以理解为不严格意义上的流程图。
但是活动图是一个对象类执行的某一系列活动进行组合的描述,它是由系统内部的处理流程驱动的。活动图是对一个系统而言的,一个系统...
分类:
其他好文 时间:
2015-02-27 15:14:27
阅读次数:
135