前言: 端口号:21881 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 本质:主要作用是注册 ...
分类:
其他好文 时间:
2021-01-19 12:08:39
阅读次数:
0
文章目录 5.1 HBase简介 什么是HBase BigTable 面向列的数据库 什么是非结构化数据存储 HBase在Hadoop生态中的地位 HBase与HDFS HBase使用场景 5.1 HBase简介 1 什么是HBase HBase是一个分布式的、面向列的开源数据库 HBase是Goo ...
分类:
数据库 时间:
2021-01-19 12:02:43
阅读次数:
0
我们学习hadoop,最常见的编程是编写mapreduce程序,但是,有时候我们也会利用java程序做一些常见的hdfs操作。比如删除一个目录,新建一个文件,从本地上传一个文件到hdfs等,甚至是追加内容到hdfs文件中。 这里介绍一些常见的hdfs操作的java示例,帮助我们加深对hdfs的理解。 ...
分类:
编程语言 时间:
2021-01-19 11:58:35
阅读次数:
0
笔者使用编译安装守护进程(Tomcat开启本地库(Apache Tomcat Native Library)支持)方式启动tomcat。 系统从8月份上线,到近期catalina-deamon.out已经达到7G之大,每天都会向这个文件写日志,会影响 系统响应时间,现在需要进行改良。解决方法如下 1 ...
分类:
其他好文 时间:
2021-01-19 11:45:40
阅读次数:
0
# 先定义dataframe各列的数据类型 from pyspark.sql.types import *schema = StructType([ StructField("a", NullType(), True), StructField("b", AtomicType(), True), S ...
分类:
其他好文 时间:
2021-01-18 11:29:36
阅读次数:
0
1. 设置执行引擎 set hive.execution.engine=mr;set hive.execution.engine=spark; 如果设置执行引擎为MR,那么调用Hadoop的maprecude来运行需要执行的job的程序; 如果设置执行引擎为spark,那么就会调用spark来执行任 ...
分类:
其他好文 时间:
2021-01-15 12:15:21
阅读次数:
0
解决Hadoop HA集群 NameNode 无法自动故障转移(切换active) 在学习 HA 自动化配置,按照hadoop官网:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvaila ...
分类:
其他好文 时间:
2021-01-15 12:13:12
阅读次数:
0
虚拟机克隆 a. vim /etc/udev/rules.d/70-persistent-net.rules 更改网卡名 b. vim /etc/sysconfig/network-scripts/ifcfg-eth0 更新网卡 c. vim /etc/sysconfig/network 更改主机名 ...
分类:
其他好文 时间:
2021-01-12 10:50:26
阅读次数:
0
搭建在单一服务器 基于官方文档 http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation 1、配置:hadoop-env ...
分类:
其他好文 时间:
2021-01-11 11:23:14
阅读次数:
0
文章搜索我现在使用的是mysql的模糊查询like搜索标题关键字。 之前也有用全文索引,但是全文索引的效率比较低,所以,后期就没有在对文章内容进行匹配。 后来接触到中文分词器,感觉他刚好能解决我的问题:目前比较好的支持PHP的分词器大概有solr(基于Java开发),sphinx(基于C++开发) ...
分类:
其他好文 时间:
2021-01-11 10:52:57
阅读次数:
0