1、数据库准备 1、192.168.8.162 test1主 2、192.168.8.134 test1从 3、192.168.8.176 test1从 4、192.168.8.162 test2主 5、192.168.8.134 test2从 6、192.168.8.176 test2从 2、准备 ...
分类:
数据库 时间:
2021-01-20 11:42:43
阅读次数:
0
一 、 Hadoop 集群架构设计 二 、 搭建集群 修改IP地址与hostname以及部署zookeeper、hadoop见上一篇博文《Hadoop 完全分布式搭建》。 三 、修改配置文件 修改nna上的core-site.xml <configuration> <!-- 指定hdfs的names ...
分类:
其他好文 时间:
2021-01-19 12:16:24
阅读次数:
0
文章目录 5.1 HBase简介 什么是HBase BigTable 面向列的数据库 什么是非结构化数据存储 HBase在Hadoop生态中的地位 HBase与HDFS HBase使用场景 5.1 HBase简介 1 什么是HBase HBase是一个分布式的、面向列的开源数据库 HBase是Goo ...
分类:
数据库 时间:
2021-01-19 12:02:43
阅读次数:
0
我们学习hadoop,最常见的编程是编写mapreduce程序,但是,有时候我们也会利用java程序做一些常见的hdfs操作。比如删除一个目录,新建一个文件,从本地上传一个文件到hdfs等,甚至是追加内容到hdfs文件中。 这里介绍一些常见的hdfs操作的java示例,帮助我们加深对hdfs的理解。 ...
分类:
编程语言 时间:
2021-01-19 11:58:35
阅读次数:
0
hbase写数据流程 ?先从 zk找到meta表的region位置,然后读取meta表中的数据,meta表中存储了用户表的region信息 根据namespace、表名和rowkey信息。找到写入数据对应的 region信息 找到这个region对应的regionServer,然后发送请求 把数据分 ...
分类:
其他好文 时间:
2021-01-18 11:07:30
阅读次数:
0
Linux内核将所有的外部设备都看做一个文件来操作,对一个文件的读写操作会调用内核提供的系统命令,返回一个FD(File Descriptor,文件描述符)。对一个socket的操作也是作为一个I/O操作来处理的,称为socketfd(socket描述符),它指向内核的一个结构体(文件路径、数据区等 ...
分类:
系统相关 时间:
2021-01-18 10:40:31
阅读次数:
0
跨集群数据迁移 用户在腾讯云上自建的ES集群或者在其它云厂商购买的ES集群,如果要迁移至腾讯云ES,用户可以根据自己的业务需要选择适合自己的迁移方案。如果业务可以停服或者可以暂停写操作,可以参考离线迁移的四种方案。 离线迁移 离线迁移需要先停止老集群的写操作,将数据迁移完毕后在新集群上进行读写操作。 ...
分类:
其他好文 时间:
2021-01-18 10:40:16
阅读次数:
0
https://blog.csdn.net/msg1122/article/details/82911644 1.区别 子进程和原来的父进程是相互独立的,所占的空间也是相互独立的, 子进程可以读写父进程中打开的文件,上面链接中给出的例子, IE打开了adobe读取pdf文件,认为IE是父进程,ado ...
分类:
编程语言 时间:
2021-01-16 12:07:14
阅读次数:
0
一、读取文件抛出异常 在之前的博文里,我们说到:要以读文件的模式打开一个文件对象,使用Python内置的open()函数,传入文件名和标示符: f = open('test.txt', 'r') 标示符'r'表示读文件。这样,我们就成功地打开了一个文件。但是,如果这个文件不存在,那么此时open() ...
分类:
编程语言 时间:
2021-01-16 11:56:28
阅读次数:
0
解决Hadoop HA集群 NameNode 无法自动故障转移(切换active) 在学习 HA 自动化配置,按照hadoop官网:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvaila ...
分类:
其他好文 时间:
2021-01-15 12:13:12
阅读次数:
0