1 Ranger简介
Apache Ranger提供一个集中式安全管理框架,它可以对Hadoop生态的组件如Hive,Hbase进行细粒度的数据访问控制.通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限.这些策略可以为不同的用户和组来设置,同时权限可与hadoop无缝对接.
2 准备
2.1 环境说明
1 Ra...
分类：
Web程序 时间：
2016-04-22 19:49:59
阅读次数：
1306
HDFS设计的主要目的是对海量数据进行存储，也就是说在其上能够存储很大量文件 （可以存储TB级的文件）。HDFS将这些文件分割之后，存储在不同的DataNode上， HDFS 提供了两种访问接口：Shell接口和Java API 接口，对HDFS里面的文件进行操作，具体每个Block放在哪台Data ...
分类：
系统相关 时间：
2016-04-17 00:19:53
阅读次数：
277
最近接触到大数据，对于Skpark和Hadoop的料及都停留在第一次听到这个名词时去搜一把看看大概介绍免得跟不上时代的层次。 在实际读了点别人的代码，又自己写了一些之后，虽然谈不上理解加深，至少对于大数据技术的整体布局有了更清晰的认识。 HDFS主要用来存储文件系统，虽然Spark有自己的RDD，但 ...
分类：
编程语言 时间：
2016-04-16 13:50:00
阅读次数：
934
HDFS设计的主要目的是对海量数据进行存储，也就是说在其上能够存储很大量文件（可以存储TB级的文件）。HDFS将这些文件分割之后，存储在不同的DataNode上， HDFS 提供了两种访问接口：Shell接口和Java API 接口，对HDFS里面的文件进行操作，具体每个Block放在哪台DataN ...
分类：
编程语言 时间：
2016-04-15 20:01:07
阅读次数：
287
HDFS设计的主要目的是对海量数据进行处理，也就是说在其上能够储存很大量文件(可以储存TB级的文件)。HDFS将这些文件分割之后，储存在不同的DataNode上，HDFS提供了两种数据访问接口:Shell接口和javaAPI接口,对HDFS里面的文件进行操作。 Shell接口 HDFS处理文件的命令
分类：
编程语言 时间：
2016-03-22 00:21:32
阅读次数：
365
通过thrift远程调用框架，结合hadoop1.x中的thriftfs，编写了一个针对hadoop2.x的thriftfs，供外部程序调用
Java通过Hadoop提供的API访问HDFS不算困难，但针对其上文件的计算就比较麻烦。比如分组、过滤、排序等计算，用java来实现都比较复杂。集算器esproc能很好地协助java解决计算问题，同时也封装了HDFS的访问，借助esproc可以让java加强HDFS上文件的计算能力，结构化半结构....
分类：
编程语言 时间：
2016-01-19 10:31:43
阅读次数：
257
访问HDFS的程序或HDFS shell命令都可以称为HDFS的客户端(client )，在HDFS的客户端中至少需要指定HDFS集群配置中的NameNode地址以及端口号信息，或者通过配置HDFS的core-site.xml配置文件来指定。一般可以把客户端和HDFS节点服务器放在同一台机器上...
分类：
其他好文 时间：
2015-12-28 00:49:31
阅读次数：
134
1. 今天想做一个hdfs的java工具类，但是在连接hdfs的时候，报如下错误： Exception in thread "main" org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate wi...
分类：
编程语言 时间：
2015-11-30 19:59:13
阅读次数：
465
Hadoop中只适用于Hbase分布式部署,hadoop的HA自动切换.概述: zookeeper是应用于分布式应用的,是一个分布式协调服务.实现分布式应用,同步,配置管理,分组还有命名服务的.实现分布式应用中的协调服务.侧重于高性能,高可靠,还有顺序访问,HDFS只做存储,出发点不一样,都...
分类：
其他好文 时间：
2015-11-26 06:52:25
阅读次数：
253
