码迷,mamicode.com
首页 >  
搜索关键字:hadoop hdfs    ( 15816个结果
hadoop多次格式化后,导致datanode启动不了,怎么办?(伪分布式)
根据当初 hadoop 安装目录下 conf 目录的 core-site.xml 的设置,找到该目录:进入该目录在 data 和 name 文件夹下均有 current 文件夹 ,和 current 文件夹下有 VERSION 文件主要要做的是使这两个文件中的 namespaceID 相同接下来就是...
分类:其他好文   时间:2014-05-09 05:15:30    阅读次数:305
Apache Spark源码走读之6 -- 存储子系统分析
Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk,本文尝试分析Spark中存储子系统的构成,并以数据写入和数据读取为例,讲述清楚存储子系统中各部件的交互关系。
分类:其他好文   时间:2014-05-09 05:14:32    阅读次数:405
Hbase Python接口
http://wiki.apache.org/hadoop/Hbase/ThriftApi首先根据Hbase.thrift文件生成Python接口代码,Hbase.thrift在Hbase的源码中有,路径src/main/resources/org/apache/hadoop/hbase/thrif...
分类:编程语言   时间:2014-05-09 02:51:31    阅读次数:344
Hadoop全分布模式操作
http://blog.csdn.net/wangloveall/article/details/20767161摘要:介绍Hadoop全分布模式操作,实现真正意义上的集群架构。关键词:Hadoop 全分布模式 文件配置利用Hadoop解决大数据问题时,我们是用全分布模式来操作Hadoop。如何基于...
分类:其他好文   时间:2014-05-08 23:44:04    阅读次数:354
Hadoop之HDFS
摘要:HDFS是Hadoop的核心模块之一,围绕HDFS是什么、HDFS的设计思想和HDFS的体系结构三方面来介绍。关键词:Hadoop HDFS 分布式存储系统HDFS是Hadoop的核心模块之一,HDFS是什么?它是Hadoop分布式文件系统(Hadoop Distributed File S....
分类:其他好文   时间:2014-05-08 23:38:42    阅读次数:412
Hadoop伪分布模式操作
http://blog.csdn.net/wangloveall/article/details/20195813摘要:本文介绍Hadoop伪分布模式操作,适合于Hadoop学习、开发和调试。关键词:Hadoop 伪分布式 文件配置启动Hadoop支持三种模式操作,分别是单机模式操作、伪分布模式.....
分类:其他好文   时间:2014-05-08 23:37:12    阅读次数:419
【原】centos6.5下hadoop cdh4.6 安装
1、架构准备: namenode 10.0.0.2 secondnamenode 10.0.0.3 datanode1 10.0.0.4 datanode2 10.0.0.6 datanode3 10.0.0.112、安装用户:cloud-user3、[namenode]namenod...
分类:其他好文   时间:2014-05-08 23:27:27    阅读次数:693
Hadoop生态系统
摘要:介绍Hadoop生态系统,从Hadoop生态系统有什么成员,成员能做什么和Hadoop生态系统能够提供大数据问题解决方案两方面来认识。关键词:Hadoop HDFS MapReduce HBase Hive PigHadoop生态图,通俗地说,就是Hadoop核心模块和衍生的子项目。一幅Ha....
分类:其他好文   时间:2014-05-08 23:16:24    阅读次数:387
基于HBase的手机数据备份系统
基于HBase实现的手机数据备份系统,实现了手机关键信息的备份,如短信、联系人等。 包括服务器端(Server)和客户端(Client) Server运行环境:Hadoop+HBase+Tomcat Client运行环境: Eclipse+Android2.3 ----------------------------------------------------- ...
分类:移动开发   时间:2014-05-08 16:07:49    阅读次数:390
Hadoop-5、排序(Combiner泛谈)
一、Combiner作用1、combiner最基本是实现本地key的聚合,对map输出的key排序,value进行迭代。如下所示:map: (K1, V1) → list(K2, V2)combine: (K2, list(V2)) → list(K2, V2)reduce: (K2, list(V...
分类:其他好文   时间:2014-05-08 09:37:49    阅读次数:472
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!