码迷,mamicode.com
首页 >  
搜索关键字:hbase hadoop    ( 16410个结果
Hadoop HA 模式搭建
一 、 Hadoop 集群架构设计 二 、 搭建集群 修改IP地址与hostname以及部署zookeeper、hadoop见上一篇博文《Hadoop 完全分布式搭建》。 三 、修改配置文件 修改nna上的core-site.xml <configuration> <!-- 指定hdfs的names ...
分类:其他好文   时间:2021-01-19 12:16:24    阅读次数:0
zookeeper:安装和测试
前言: 端口号:21881 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 本质:主要作用是注册 ...
分类:其他好文   时间:2021-01-19 12:08:39    阅读次数:0
大数据之Hbase(一):HBase简介、BigTable、面向列的数据库、非结构化数据存储、HBase在Hadoop生态中的地位、 HBase与HDFS、HBase使用场景
文章目录 5.1 HBase简介 什么是HBase BigTable 面向列的数据库 什么是非结构化数据存储 HBase在Hadoop生态中的地位 HBase与HDFS HBase使用场景 5.1 HBase简介 1 什么是HBase HBase是一个分布式的、面向列的开源数据库 HBase是Goo ...
分类:数据库   时间:2021-01-19 12:02:43    阅读次数:0
hdfs常见操作java示例
我们学习hadoop,最常见的编程是编写mapreduce程序,但是,有时候我们也会利用java程序做一些常见的hdfs操作。比如删除一个目录,新建一个文件,从本地上传一个文件到hdfs等,甚至是追加内容到hdfs文件中。 这里介绍一些常见的hdfs操作的java示例,帮助我们加深对hdfs的理解。 ...
分类:编程语言   时间:2021-01-19 11:58:35    阅读次数:0
pyspark dataframe save into hive
# 先定义dataframe各列的数据类型 from pyspark.sql.types import *schema = StructType([ StructField("a", NullType(), True), StructField("b", AtomicType(), True), S ...
分类:其他好文   时间:2021-01-18 11:29:36    阅读次数:0
详解hbase的寻址过程(0.96版本以后,2.0版本以前)
客户端发送查询命令 scan 'user', {COLUMNS => 'base_info', STARTROW => 'rk1', ENDROW => 'rk3'} 寻址过程 1. 客户端请求zk,获取meta表所在位置 2. zk返回节点位置(假设在hadoop01节点) 3. 客户端访问had ...
分类:其他好文   时间:2021-01-18 11:09:35    阅读次数:0
hbase数据读写流程
hbase写数据流程 ?先从 zk找到meta表的region位置,然后读取meta表中的数据,meta表中存储了用户表的region信息 根据namespace、表名和rowkey信息。找到写入数据对应的 region信息 找到这个region对应的regionServer,然后发送请求 把数据分 ...
分类:其他好文   时间:2021-01-18 11:07:30    阅读次数:0
hive性能调优
1. 设置执行引擎 set hive.execution.engine=mr;set hive.execution.engine=spark; 如果设置执行引擎为MR,那么调用Hadoop的maprecude来运行需要执行的job的程序; 如果设置执行引擎为spark,那么就会调用spark来执行任 ...
分类:其他好文   时间:2021-01-15 12:15:21    阅读次数:0
CentOS7迷你版安装部署hadoop高可用无法自动切换角色解决办法!
解决Hadoop HA集群 NameNode 无法自动故障转移(切换active) 在学习 HA 自动化配置,按照hadoop官网:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvaila ...
分类:其他好文   时间:2021-01-15 12:13:12    阅读次数:0
hadoop完全分布式
虚拟机克隆 a. vim /etc/udev/rules.d/70-persistent-net.rules 更改网卡名 b. vim /etc/sysconfig/network-scripts/ifcfg-eth0 更新网卡 c. vim /etc/sysconfig/network 更改主机名 ...
分类:其他好文   时间:2021-01-12 10:50:26    阅读次数:0
16410条   上一页 1 ... 11 12 13 14 15 ... 1641 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!