启动hive之后执行查询语句报错如下： 分析得知：hive的数据库MySQL在安装的时候没有初始化 解决办法：初始化数据库 schematool dbType mysql initSchema 出现下面这个界面则表示初始化成功 验证： 原文链接：https://blog.csdn.net/weixi ...
分类：
编程语言 时间：
2020-05-15 09:42:18
阅读次数：
74
问题发现： 经巡检，服务器中一台节点的hadoop磁盘占用过多，是其它节点的三倍，导致数据严重不均衡。 解决过程： 两种命令： hadoop的bin目录下，运行命令start-balancer.sh -threshold 5 hdfs balancer -threshold 5 两者的执行效果是一样 ...
分类：
其他好文 时间：
2020-05-15 00:40:42
阅读次数：
149
概述： IoTDB 是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点，完美对接 Hadoop 与 Spark 生态， 适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 安装环境： 1，安装前需要保证设备上配有JDK>=1.8的运行环境，并 ...
分类：
数据库 时间：
2020-05-14 19:32:44
阅读次数：
540
在Linux文件系统中，我们可以使用下面shell脚本判断某个文件是否存在： # 这里的-f参数判断$file是否存在 if [ ! -f "$file" ]; then echo "文件不存在!" fi 但是我们想判断hdfs上某个文件是否存在咋办呢？Hadoop内置提供了判断某个文件是否存在的命 ...
分类：
系统相关 时间：
2020-05-14 11:33:50
阅读次数：
70
换了几个开发环境，每次都会遇到sparksql连不上元数据的情况，整理一下脱坑吧。。。。。 进入主题： 首先说一下几个文件吧，这些是我遇到的几个问题的解决方法，有可能你并不适用，仅供参考。 1、配置文件放在resources下面 2、下载hadoop-common-2.2.0-bin-master ...
分类：
数据库 时间：
2020-05-14 11:27:02
阅读次数：
101
1.WordCount程序任务 输入:一个包含大量单词的文本文件 输出:文件中没个单词及出现的次数(频数)，并按照单词顺序排序每个单词和其频数占一行，单词和频数之间有间隔 2.WordCount程序设计思路 WordCount可以使用MapReduce去做 在/usr/local/目录下创建Word ...
分类：
其他好文 时间：
2020-05-13 19:46:40
阅读次数：
77
一个模式匹配包含了一系列备选项，每个都开始于关键字 case。每个备选项都包含了一个模式及一到多个表达式。箭头符号 => 隔开了模式和表达式。 1. package scalaprogram.May07 import scala.util.Random //模式匹配 升级版的switch语句 obj ...
分类：
其他好文 时间：
2020-05-12 20:19:21
阅读次数：
59
Hadoop_Liang 2019-06-14 23:08:05 2846 收藏 4展开问题：Ubuntu在更新软件源时，出现E: Could not get lock /var/lib/apt/lists/lock问题 $ sudo apt-get update Reading package l ...
分类：
其他好文 时间：
2020-05-12 16:49:53
阅读次数：
131
大数据第十一周 1.物理集群的验证 开启本组所有电脑（4台），拷贝虚拟机映像，打开。在开启虚拟机之前，设置虚拟机内存是4G，处理器是4，网络连接是桥接模式。 ? 也可以在图形界面配 ? 把桥接网卡绑定到具体的物理网卡，不要使用自动绑定。 设置完成后，启动寻虚拟机。 ? 2.设置网络连接 编辑网络配置 ...
分类：
其他好文 时间：
2020-05-12 13:46:49
阅读次数：
67
Linux重要目录 Linux目录一切从根开始.且一切都是文件 | 目录 | 说明 | | : : | : : | | / | 根目录 | | /bin | 存放Linux的常用命令 | | /root | 是root用户的主目录/家目录 | | /home | 存放普通用户的主目录 | | /et ...
分类：
系统相关 时间：
2020-05-11 19:04:50
阅读次数：
73
