环境是hive和Hadoop 报错如：User: liwei is not allowed to impersonate anonymous 修改hadoop 配置文件 $HADOOP_HOME/etc/hadoop/core-site.xml <property> <name>hadoop.pro ...
分类：
编程语言 时间：
2021-01-27 13:53:02
阅读次数：
0
引言 RDD 根据数据处理方式的不同将算子整体上分为 Value 类型、双 Value 类型和 Key-Value类型，本文主要讲一些Value 类型 正文 资源路径和资源内容 map ###函数签名:def map[U: ClassTag](f: T ? U): RDD[U] ###函数说明:将处 ...
分类：
其他好文 时间：
2021-01-27 12:50:51
阅读次数：
0
<！-- demodemo.xml --><dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-core</artifactId> <version>2.7.0</version> ...
分类：
其他好文 时间：
2021-01-26 12:23:58
阅读次数：
0
一、Python环境准备 远程服务器上Python版本要与本地想匹配，这里本地使用Anaconda来进行安装，远程服务器之间安装。 wget --no-check-certificate https://www.python.org/ftp/python/3.6.7/Python-3.6.7.tgz ...
分类：
编程语言 时间：
2021-01-25 11:30:39
阅读次数：
0
1 RDD基础知识 1.1 Spark的RDD五大特性 1.1.1 A list of partitions RDD是一个由多个partition（某个节点里的某一片连续的数据）组成的的List；将数据加载为RDD时，一般一个hdfs里的block会加载为一个partition。 对于RDD来说，每 ...
分类：
其他好文 时间：
2021-01-25 11:30:09
阅读次数：
0
一、新增节点 语法 #其中-s 为有序节点，-e 临时节点 create [-s] [-e] path data 创建持久化节点并写入数据： # 创建hadoop节点并写入数据123456： create /hadoop "123456" 创建持久化有序节点，此时创建的节点名为指定节点名 + 自增序 ...
分类：
系统相关 时间：
2021-01-22 12:13:51
阅读次数：
0
文章目录 1.Trino与Spark SQL的区别分析 2.Trino与Spark SQL解析过程对比 3.Trino基本概念 4.Trino架构 5.Trino SQL执行流程 6.Trino Task执行流程 相关参考： 1.Trino与Spark SQL的区别分析 2.Trino与Spark ...
分类：
其他好文 时间：
2021-01-22 12:05:01
阅读次数：
0
1.准备环境 安装centos7，在此我准备了五个虚拟机，分别命名为L1，L2,L3,L4,L5.计划在L1上面运行Master节点，在L3,L4,L5上面运行Worker节点。网络配置以及ssh免密登陆配置不再详细讲解，请参考我的另外一篇博客：虚拟机网络配置以及准备工作：https://blog. ...
分类：
其他好文 时间：
2021-01-22 11:44:51
阅读次数：
0
HBase 虽然可以存储数亿或数十亿行数据，但是对于数据分析来说，不太友好，只提供了简单的基于 Key 值的快速查询能力，没法进行大量的条件查询。现有hbase的查询工具有很多如：Hive，Tez，Impala，Shark/Spark，Phoenix等。今天主要说Hive，Hive方便地提供了Hiv ...
分类：
其他好文 时间：
2021-01-21 10:54:30
阅读次数：
0
Java诞生于1995年 JVM = java虚拟机 Java virtual machine 图形界面的程勋Applet，现在逐渐被淘汰 1998年java分为三个部分 - java2标准版 （J2SE）占领桌面端 - java2移动版 （J2ME）占领手机端 - java2企业版 （J2EE）占 ...
分类：
编程语言 时间：
2021-01-20 11:56:51
阅读次数：
0
