码迷,mamicode.com
首页 >  
搜索关键字:hadoop hdfs命令    ( 13969个结果
Hadoop-2.2.0中文文档—— 从Hadoop 1.x 迁移至 Hadoop 2.x
简介 本文档对从 Apache Hadoop 1.x 迁移他们的Apache Hadoop MapReduce 应用到 Apache Hadoop 2.x 的用户提供了一些信息。 在 Apache Hadoop 2.x 中,我们已经把资源管理功能放入 分布式应用管理框架 的Apache Hadoop YARN,而 Apache Hadoop MapReduce (亦称 MRv2) 保持...
分类:其他好文   时间:2014-05-14 00:55:11    阅读次数:294
Hadoop 2.4.0新特性介绍
在2014年4月7日,Apache发布了Hadoop 2.4.0 。相比于hadoop 2.3.0,这个版本有了一定的改进,突出的变化可以总结为下列几点(官方文档说明): 1 支持HDFS访问控制列表(ACL,Access Control Lists)       这个特性解决了在一定情况下,文件权限访问的权限问题。其机制是基于Linux文件访问权限的特征,如果你熟悉Linux的文件访问机...
分类:其他好文   时间:2014-05-13 09:03:36    阅读次数:326
Hadoop学习
一个Hadoop集群拥有多个并行的计算机,用以存储和 Hadoop强调代码向数据迁移...
分类:其他好文   时间:2014-05-13 06:54:15    阅读次数:366
topk记录
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop dfs -rmr output Deleted hdfs://localhost:9000/user/lk/output lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop jar ~/mytopk.jar top.Top  input out...
分类:其他好文   时间:2014-05-13 06:53:12    阅读次数:448
UC技术博客开放通知
UC正式推广官方技术博客,隐藏多年的浏览器技术开始陆续对外发布。...
分类:其他好文   时间:2014-05-13 06:49:04    阅读次数:199
Hbase常用命令
hbase shell命令的使用 再使用hbase 命令之前先检查一下hbase是否运行正常 hadoop@Master:/usr/hbase/bin$ jps 2640 HMaster 27170 NameNode 27533 SecondaryNameNode 3038 Jps 27795 TaskTracker 27351 DataNode 2574 HQuorumPeer ...
分类:其他好文   时间:2014-05-13 05:40:21    阅读次数:460
Hadoop集群硬件标准配置
在我们选择硬件的时候,往往需要考虑应用得到的性能和经费开支。为此,我们必须在满足实际需要和经济可行上找到一个完美的平衡。下面,以Hadoop集群应用为了例子,说明需要考虑的要素。     1. I/O绑定的工作负荷。       Hadoop涉及到的I/O操作,主要包括下列几项: 索引(Indexing) 群化(Grouping) 数据导入和导出(Data importing...
分类:其他好文   时间:2014-05-12 23:47:04    阅读次数:536
学习Hadoop生态系统最值得一读的书籍
学习大数据的处理,有必要读一下有关大数据的书籍。这里,我列举了几本书,仅供参考。       1 ZooKeeper: Distributed Process Coordination        这本书针对的是初级或者高级的开发,面向Zookeeper编程的工程师们。如果你的工程中(如HBase)涉及到Zookeeper的应用,有必要了解一下Zookeeper的管理知识和一些基本解...
分类:其他好文   时间:2014-05-12 22:46:32    阅读次数:662
安装HBase 0.94.6-cdh4.3.0
安装HBase 0.94.6-cdh4.3.0 设定HBase的配置文件,由于安装的是cdh版,各版本直接匹配,互相依赖的jar包也都正确,只需要配置下hbase的环境变量和配置文件即可。 1.配置hbase-env.sh,添加JAVA_HOME环境变量 [html] view plaincopy export JAVA_HOME=/us...
分类:其他好文   时间:2014-05-12 22:36:14    阅读次数:504
MapReduce_去重抽取mdn_imsi
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import...
分类:其他好文   时间:2014-05-12 19:55:27    阅读次数:326
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!