码迷,mamicode.com
首页 >  
搜索关键字:hadoop hdfs命令    ( 13969个结果
hbase 基础 —— 概念简介
1. 简要介绍 HBase 是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的 BigTable 建模,实现的编程语言为 Java。它是 Apache 软件基金会的 Hadoop 项目的一部分,运行于 HDFS 文件系统之上,为 Hadoop 提供类似于 BigTable 规模的服务,可 ...
分类:其他好文   时间:2020-07-26 01:59:15    阅读次数:89
Hadoop基础(五十):压缩和存储(二)
4 开启 Reduce 输出阶段压缩 当 Hive 将 输 出 写 入 到 表 中 时 , 输 出 内 容 同 样 可 以 进 行 压 缩 。 属 性hive.exec.compress.output 控制着这个功能。用户可能需要保持默认设置文件中的默认值 false, 这样默认的输出就是非压缩的纯 ...
分类:其他好文   时间:2020-07-24 21:30:31    阅读次数:69
大型分布式系统现场,阿里大牛带你贯彻理解分布式系统
分布式系统分布式系统从当初的CORBA到EJB,Web和SOA,从集群到现在的NoSQL云计算和大数据Hadoop等分布式系统,横向水平扩展Scalaout/in是分布式系统设计的一个特点,可靠性容错性是两个质量指标。什么是分布式系统?一大批服务器组成一个集合,对于用户来说仍然是一个整体连贯系统。A.Tanenbaum定义:分布式网络的计算机中的组件之间协调动作是通过消息进行通讯。G.Coulou
分类:其他好文   时间:2020-07-24 13:30:07    阅读次数:93
Hadoop入门学习
自己学习Hadoop时,整理的资料,方便以后查看,希望能帮到大家,有什么问题欢迎大家指出 一、Hadoop是什么?其核心又是什么? Hadoop历史 雏形开始于2002年的Apache的Nutch,Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜 ...
分类:其他好文   时间:2020-07-23 22:35:14    阅读次数:65
Hadoop基础(四十九):压缩和存储(一)
1 Hadoop 源码编译支持 Snappy 压缩 1.1 资源准备 1.CentOS 联网 配置 CentOS 能连接外网。Linux 虚拟机 ping www.baidu.com 是畅通的 注意:采用 root 角色编译,减少文件夹权限出现问题 2.jar 包准备(hadoop 源码、JDK8 ...
分类:其他好文   时间:2020-07-23 22:32:44    阅读次数:73
大数据学习4(高可用hadoop集群)
namenode1 namenode2 datanode zk zkfc jnn node0001 * * * node0002 * * * * * node0003 * * * node0004 * * 1,两个namenode节点相互免密钥,以完成主备切换 node0002:cd .ssh ss ...
分类:其他好文   时间:2020-07-23 01:34:21    阅读次数:110
HDFS常用命令
1.-help : 输出这个命令的相关参数用法 hadoop fs -help rm (删除的相关用法) 2.-ls : 显示目录信息 hadoop fs -ls / 递归查看 hadoop fs -ls -R / 3.-mkdir: 在hdfs上创建目录 hadoop fs -mkdir -p / ...
分类:其他好文   时间:2020-07-22 21:02:50    阅读次数:82
Hadoop基础(四十六):DML 数据操作
1 数据导入 1.1 向表中装载数据(Load) 1.语法 hive> load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1, ...
分类:其他好文   时间:2020-07-22 20:27:55    阅读次数:71
Hadoop - hdfs dfs常用命令的使用
Hadoop - hdfs dfs常用命令的使用 用法 1,-mkdir 创建目录Usage:hdfs dfs -mkdir [-p] < paths>选项:-p很像Unix mkdir -p,沿路径创建父目录。 2,-ls 查看目录下内容,包括文件名,权限,所有者,大小和修改时间Usage:hdf ...
分类:其他好文   时间:2020-07-21 21:48:33    阅读次数:80
hadoop集群单点启动
1.虚拟机(hadoop11)中的hadoop如是第一次启动,则需要格式化namenode 命令: hadoop namenode -format 注意:如之前有安装过,则需要删除配置文件core-site.xml里的hadoop.tmp.dir的存储目录及日志文件夹 2.在hadoop11上启动n ...
分类:其他好文   时间:2020-07-21 21:36:10    阅读次数:66
13969条   上一页 1 ... 23 24 25 26 27 ... 1397 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!