HDFS可靠性冗余副本策略机架策略心跳机制安全模式校验和回收站元数据保护在数据节点启动后，会把本地的文件系统遍历一次，产生一份数据块以及本地文件对应关系的清单叫做块报告，会汇报给NameNodeHadoop机架感知集群中各个节点之间会相互传递信息包心跳机制nameNode周期性从dat..
分类：
其他好文 时间：
2014-08-16 17:15:21
阅读次数：
317
HDU 4289 Control （网络流-最小割）
题目大意：
先是n，m表示n个城市，m条边，接下来src,sink，表示一个小偷从起点到终点，接下来n行表示每个城市放置警察需要的花费，接下来m行表示m条无向边。问你阻断小偷需要多少花费？
解题思路：
将n个城市拆点构边，根据最小割定理，阻断起点到终点的连同最小割的花费也就是求最大流。...
分类：
其他好文 时间：
2014-08-15 17:59:19
阅读次数：
189
关键词：蓝牙blueZ A2DP、SINK、sink_connect、sink_disconnect、sink_suspend、sink_resume、sink_is_connected、sink_get_properties、AUDIO、DBUS版本：基于android4.2之前版本 bluez内核：linux/linux3.08系统：android/android4.1.3.4作者：xubi...
分类：
移动开发 时间：
2014-08-15 16:09:39
阅读次数：
618
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
这里我主要讲述我测试flume failover（容错）和load balance（负载均衡）的几个场景以及注意的点。...
分类：
其他好文 时间：
2014-08-14 16:48:08
阅读次数：
578
HDFS
HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上，它具有以下几个特点：
1）适合存储非常大的文件
2）适合流式数据读取，即适合“只写一次，读多次”的数据处理模式
3）适合部署在廉价的机器上
但HDFS不适合以下场景（任何东西都要分两面看，只有适合自己业务的技术才是真正的好技术）：
1）不适合存储大量的小文件，因为受Namenode内...
分类：
其他好文 时间：
2014-08-14 16:46:28
阅读次数：
260
HDFS Users GuidePurposeOverviewPrerequisitesWeb InterfaceShell CommandsDFSAdmin CommandSecondary NameNodeCheckpoint NodeBackup NodeImport CheckpointRe...
分类：
其他好文 时间：
2014-08-14 16:36:20
阅读次数：
244
HDFS ArchitectureIntroductionThe Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many...
分类：
其他好文 时间：
2014-08-14 16:23:38
阅读次数：
275
Apache Hadoop 2.5.0是一个在2.x.y发布线上的一个小版本，建立在之前稳定的发布版本2.4.1之上。
主要特性和改进：
1. Common
a) 使用HTTP代理服务器时认证改进。当通过代理服务器使用WebHDFS时这是非常有用的。
b) 增加了一个新的Hadoop指标监控sink，允许直接写到Graphite。
c)...
分类：
其他好文 时间：
2014-08-13 19:00:17
阅读次数：
278
HDFS联邦
本指南提供了一个HDFS联邦特性的综述，以及如何配置和管理联邦的集群。
背景
HDFS有两个主要的层次：
1. Namespace
a) 包含很多的目录，文件和block
b) 他提供所有的文件系统操作像创建，删除，修改该和list文件和目录的命名空间
2. Block Storage Service有两个部分
a)...
分类：
其他好文 时间：
2014-08-13 14:59:36
阅读次数：
245
【课程内容】1、Hadoop分布式文件系统（HDFS）2、YARN/MapReduce的工作原理3、如何优化Hadoop机群所需要的硬件配置4、搭建Hadoop机群所需要考虑的网络因素5、Hadoop机群维护和控制6、如何利用Hadoop配置选项进行系统性能调优7、如何利用FairScheduler...
分类：
其他好文 时间：
2014-08-13 14:51:36
阅读次数：
288
