1、Hadoop 是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。 2、HDFS Hadoop的分布式文件系统。是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对 ...
分类：
其他好文 时间：
2017-11-22 21:54:33
阅读次数：
278
概述对于多处理器调度，此处概述了多个处理器可能带来的问题和设计上的一些问题；对于实时调度，概述了两种调度方法：限时调度和速率单调调度。1多处理器调度多处理器系统可以分为以下几类：松耦合、分布式处理器、集群：有一系列相对自治的系统组成，每个处理器有自己的内存和..
分类：
其他好文 时间：
2017-09-11 00:47:51
阅读次数：
151
1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。 下图为hadoop的生态系统： 2、HDFS（Hadoop分布式文件系统） 源自于Google ...
分类：
其他好文 时间：
2017-09-06 18:25:14
阅读次数：
144
首先，谢谢各位大神的指点。结合工作中遇到的问题和目前我了解到的分布式处理方案来简单谈谈。 1.事务的特性 事务必须满足传统事务的ACID特性，即原子性，一致性，分离性和持久性。 原子性：即最小单位的原子，要不全部成功，要不全部失败。 一致性：。事务必须始终保持系统处于一致的状态，不管在任何给定的时间 ...
分类：
其他好文 时间：
2017-08-29 16:01:33
阅读次数：
173
Hadoop是一个能够对大量数据进行分布式处理的软体框架，实现了Google的MapReduce编程模型和框架，能够把应用程式分割成许多的 小的工作单元，并把这些单元放到任何集群节点上执行。在MapReduce中，一个准备提交执行的应用程式称为「作业（job）」，而从一个作业划分出 得、运行于各个计 ...
分类：
其他好文 时间：
2017-08-21 00:27:31
阅读次数：
158
1.Hadoop是一个大家族，是一个开源的生态系统，是一个分布式运行系统，是基于Java编程语言的架构。不过它最高明的技术还是HDFS和MapReduce，使得它可以分布式处理海量数据。 2.HDFS（分布式文件系统）：它与现存的文件系统不同的特性有很多，比如高度容错（即使中途出错，也能继续运行）， ...
分类：
其他好文 时间：
2017-08-09 18:08:40
阅读次数：
164
转载自:http://smallx.me/2016/06/07/spark%E4%BD%BF%E7%94%A8%E6%80%BB%E7%BB%93/ 第一个Spark程序 关于RDD 弹性分布式数据集(RDD)是分布式处理的一个数据集的抽象，RDD是只读的，在RDD之上的操作都是并行的。实际上，RD ...
分类：
其他好文 时间：
2017-08-07 22:05:01
阅读次数：
230
REST架构是一个抽象的概念，目前主要是基于HTTP协议实现，其目的是为了提高系统的可伸缩性、降低应用之间的耦合度、便于架构分布式处理程序。 在URL中设置使用如下方式: /{变量名1}/{变量名2}在代码中向Controller方法注入参数: (@PathVariable("变量名1") Stri ...
分类：
编程语言 时间：
2017-07-18 00:00:06
阅读次数：
260
摘要：Hadoop之HDFS文件操作常有两种方式。命令行方式和JavaAPI方式。本文介绍怎样利用这两种方式对HDFS文件进行操作。 关键词：HDFS文件 命令行 Java API HDFS是一种分布式文件系统，为MapReduce这样的框架下的海量数据分布式处理而设计。 Hadoop之HDFS文件 ...
分类：
其他好文 时间：
2017-07-14 21:18:43
阅读次数：
261
一、软件应用程序发展的几个阶段 软件应用程序发展经历了例如以下几个阶段： 服务于多个终端用户的大型计算机系统 孤立的个人计算机上执行孤立的软件 客户机/server模式 分布式处理模式 内容服务模式（网络移动性的体现） 分布式处理模式综合了网络和处理器发展的长处，将进程分布在多个处理器上执行。并同意 ...
分类：
移动开发 时间：
2017-06-27 09:58:53
阅读次数：
182
