1HDFS1.1概念Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统1.2特点-高度容错性-硬件要求低-能提供高吞吐量的数据访问1.2文件系统命令行1.1.1获取帮助hadoopfs-help1.2.2ls命令hadoopfs-ls/
hadoopfs-ls-R/user1.3getconf命令hdf..
分类：
其他好文 时间：
2016-08-29 21:01:41
阅读次数：
198
运维分类： 机房运维（负责设备上下架、巡检、报修、硬件监控） 基础设施运维（系统初始化、网络维护） 基础服务运维（内部DNS、负载均衡、系统监控、资产管理、运维平台）包含运维开发 系统运维（架构层面的分布式缓存、分布式文件系统、日志收集、环境规划（测试、开发、生产）、架构设计、性能优化） 安全运维（ ...
分类：
其他好文 时间：
2016-08-27 11:13:19
阅读次数：
388
Hadoop由两部分组成，分别是分布式文件系统HDFS和分布式计算框架MapReduce。其中，分布式文件系统HDFS主要用于大规模数据的分布式存储，而MapReduce则构建在分布式文件系统上，对于存储在分布式文件系统的数据进行分布式计算。1MapReduce设计目标HadoopMapReduce诞生于搜索领域..
分类：
其他好文 时间：
2016-08-26 23:05:08
阅读次数：
224
一、简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构，允许用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS... ...
分类：
其他好文 时间：
2016-08-26 10:29:51
阅读次数：
147
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构 化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需 要的内 ...
分类：
数据库 时间：
2016-08-23 20:17:31
阅读次数：
283
简介 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。 HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失 ...
分类：
其他好文 时间：
2016-08-23 19:03:14
阅读次数：
227
1.FastDFS介绍 FastDFS是一款开源的轻量级分布式文件系统，-纯C实现，支持Linux，FreeBSD等UNIX系统，-类goolge FS，不是通用的文件系统，只能通过专有API访问，目前提供了C，java和PHP API-为互联网应用量身定做，追求高性能和高扩展-FastDFS可以看 ...
分类：
其他好文 时间：
2016-08-23 13:01:38
阅读次数：
241
一、hdfs的设计目标 1.1、硬件错误是常态而不是异常。Hadoop的设计理念之一就是它可以运行在廉价的普通PC机上，因而硬件故障是常态。在硬件故障时，可通过容错机制保证数据的正确性、完整性，从而保证系统的正常运行。 1.2、大文件存储。hdfs存储的文件大小一般在GB~TB的级别。 1.3、流式 ...
分类：
其他好文 时间：
2016-08-23 01:13:13
阅读次数：
189
常见的文件系统Linux文件系统:ext2,ext3,ext4,xfs,btrfs,reiserfs,jfs,swapswap:交换分区光盘：iso9660Windows：fat32,ntfsUnix:FFS,UFS,JFS2网络文件系统：NFS,CIFS集群文件系统：GFS2,OCFS2分布式文件系统：ceph,moosefs,mogilefs,GlusterFS,Lustre实验环境CentOS7.2Linux根..
分类：
系统相关 时间：
2016-08-22 00:38:43
阅读次数：
620
Hadoop简介： Hadoop是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase Map/Reduce： MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs, ...
分类：
其他好文 时间：
2016-08-20 13:12:04
阅读次数：
137
