系统环境1.系统环境：#uname-smrLinux2.6.32-504.23.4.el6.centos.plus.x86_64x86_64#cat/etc/issueCentOSrelease6.6(Final)2.MogileFS规划：数据库(MySQL)：192.168.10.241(储存MogileFS元数据)管理节点(tarckers)：192.168.10.200:7001（负责MogileFS的调度，管理）存储节点(..
分类：
其他好文 时间：
2015-07-14 20:37:05
阅读次数：
230
Apache Hadoop和Apache Spark 接下来谈多核机器、 PB级数据和任务，这跟所有从twitter提到的Java或重载机器学习算法类似。谈到Hadoop,不得不说这个应用广泛的框架及它的组 件：Hadoop分布式文件系统(HDFS)、资源管...
分类：
其他好文 时间：
2015-07-13 12:29:55
阅读次数：
141
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。
Hadoop带来了廉价的处理大数据（大数据的数据容量通常是10-100GB或更多，同时数据种类多种多样，包括结构化、非结构化等）的能力。但这与之前有什么不同？
现今企业数据仓库和关系型数据库擅长处理结...
分类：
其他好文 时间：
2015-07-12 09:47:21
阅读次数：
149
当下流行的分布式文件系统阅览对数种分布式文件系统的简单介绍 本文对目前数种分布式文件系统进行简单的介绍。当前比较流行的分布式文件系统包括：Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS。Lustr....
分类：
其他好文 时间：
2015-07-10 07:00:43
阅读次数：
232
HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上，它具有以下几个特点： 1）适合存储非常大的文件 2）适合流式数据读取，即适合“只写一次，读多次”的数据处理模式 3）适合部署在廉价的机器上
分类：
其他好文 时间：
2015-07-07 16:00:48
阅读次数：
97
HDFS 的设计主要基于以下六点考虑： (1)容错 独立计算机的硬件错误不能当异常情况处理，而属于正常状态。HDFS 文件系统中会有许多个普通计算机节点构成， 在任何时间任何一个节点都有可能出现故障， 因此HDFS 应该...
分类：
其他好文 时间：
2015-07-06 08:56:57
阅读次数：
160
antcampus@alipay.com岗位描述： 如果你想了解JAVA开发在阿里巴巴互联网生态系统中无与伦比的应用广度与深度 如果你对 基础技术感兴趣，你可以参与基础软件的设计、开发和维护，如分布式文件系统、缓存系统、Key/Value存储系统、数据库、Linux操作系统和Java优化...
分类：
编程语言 时间：
2015-07-03 23:18:34
阅读次数：
244
内容概述1、分布式文件系统介绍2、CAP理论3、常见分布式文件系统介绍4、MogileFS详细介绍4、1MogileFS组成4、2MogileFS特性5、MogileFS实现5、1node1配置Mariadb（过程略）5、2node1配置tracker5、3node2配置storage5、4node3配置storage5、5配置分布式集群5、5、1添加主机5、5..
分类：
其他好文 时间：
2015-06-28 06:32:14
阅读次数：
394
Hadoop的两大功能：海量数据存储和海量数据分析
Hadoop2的三大核心组件是：HDFS、MapperReducer和yarn
1、HDFS：分布式文件系统海量数据存储
2、MapperReducer：运算框架，海量数据分析
3、yarn：资源调度管理集群
HDFS工作机制：基于namenode和datanode
1、namenode:响应客户端的请求；负责维护整个...
分类：
其他好文 时间：
2015-06-27 16:40:29
阅读次数：
203
