DKhadoop是大快搜索推出的,纯国产的原生态开发的。对于初学者来说DKhadoop还是比较友好的,它提供了一个发行版免费供爱好者研究使用。感兴趣的可以搜索一下【大快搜索】去他们的官方网站——【产品下载】页面中下载即可。
分类:
其他好文 时间:
2018-06-19 14:46:20
阅读次数:
128
看过好多本hadoop的书,对整个过程始终存在一些疑问,今天终于搞清楚了。立个low-flag。 整体架构好复杂的感觉?其实不复杂 整体架构,namenode/metanode负责维护所有的元数据,datanode负责实际的物理存储,同一份数据datanode上必定多个副本,从而保证高可用。 hdf ...
分类:
其他好文 时间:
2018-06-14 11:39:40
阅读次数:
135
HBase 的安装有两种方式:单机安装和分布式安装。HBase的单机安装了解即可,大家重点掌握HBase 分布式集群的安装。下面我们分别进行介绍。 HBase 单机安装 HBase 需要运行在 Hadoop 基础之上,因此安装HBase 的前提是必须安装 Hadoop 环境。Hadoop 环境的安装 ...
分类:
其他好文 时间:
2018-05-28 22:53:07
阅读次数:
333
前言 Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。 这是一篇入门文章,Hadoop的学习方法很多,网上也有很多学习路线图。本文的思路是:以安装部署Apache Hadoop2.x版本为主线,来介 ...
分类:
其他好文 时间:
2018-05-18 14:21:08
阅读次数:
177
查看文件; [root@hadoop hadoop]# hadoop fs -lsr /drwxr-xr-x - root supergroup 0 2016-12-27 10:49 /homedrwxr-xr-x - root supergroup 0 2016-12-27 10:49 /home ...
分类:
其他好文 时间:
2018-05-04 19:33:39
阅读次数:
162
一、Hadoop基础1、伪分布式模型(单节点)1.1配置centos7默认JDK1.7的环境变量[root@master1~]#vim/etc/profile.d/java.shiexportJAVA_HOME=/usr[root@master1~]#source/etc/profile.d/java.sh安装jdk-devl包:[root@master1~]#yuminstalljava-1.7
分类:
其他好文 时间:
2018-04-22 18:09:47
阅读次数:
174
Hadoop基础,HDFS,MapReduce,分布式集群,Hive,Hbase,Sqoop,Pig,Storm实时数据处理平台,Spark平台 ...
分类:
其他好文 时间:
2018-04-08 19:46:50
阅读次数:
159
什么是大数据?进入本世纪以来,尤其是2010年之后,随着互联网特别是移动互联网的发展,数据的增长呈爆炸趋势,已经很难估计全世界的电子设备中存储的数据到底有多少,描述数据系统的数据量的计量单位从MB(1MB大约等于一百万字节)、GB(1024MB)、TB(1024GB),一直向上攀升,目前,PB(等于1024TB)级的数据系统已经很常见,随着移动个人数据、社交网站、科学计算、证券交易、网站日志、传感器网络数据量的不断加大,国内拥有的总数据量早已超出 ZB(1ZB=1024EB,1EB=1024PB)级别。
分类:
其他好文 时间:
2018-03-14 15:06:35
阅读次数:
157
出处: http://www.cnblogs.com/zlslch/p/5659641.html . 两者分别是什么? Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map ...
分类:
其他好文 时间:
2018-01-20 18:59:39
阅读次数:
138
1,hadoop fs –fs [local | <file system URI>]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-defau ...
分类:
其他好文 时间:
2017-12-06 21:46:25
阅读次数:
119