spark程序初始化HiveContext报错：空指针异常 版本说明： spark: 1.6.1 scala: 2.10.8 hive: 1.2.1 报错信息 java.lang.RuntimeException: java.lang.NullPointerException at org.apac ...
分类：
其他好文 时间：
2021-06-17 16:37:17
阅读次数：
0
package cn.ruhsang.gaoji;import java.util.concurrent.Executor;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;//测试线程 ...
分类：
编程语言 时间：
2021-06-13 10:29:12
阅读次数：
0
nginx.conf配置 #user nobody; user www www; worker_processes 8; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log in ...
分类：
其他好文 时间：
2021-06-13 09:55:40
阅读次数：
0
java.util.concurrent.Executors提供了一个 java.util.concurrent.Executor接口的实现用于创建线程池 一个线程池包括以下四个基本组成部分： 1、线程池管理器（ThreadPool）：用于创建并管理线程池，包括 创建线程池，销毁线程池，添加新任务； ...
分类：
编程语言 时间：
2021-06-11 18:20:00
阅读次数：
0
一、ip_hash vim /etc/nginx/nginx.conf http { upstream websrvs { server 192.168.1.4:80; server 192.168.1.6:80; server 127.0.0.1:8080 backup; ip_hash； } } ...
分类：
编程语言 时间：
2021-06-10 18:33:41
阅读次数：
0
数据分析中将两个数据集进行 Join 操作是很常见的场景。在 Spark 的物理计划阶段，Spark 的 Join Selection 类会根 据 Join hints 策略、Join 表的大小、 Join 是等值 Join 还是不等值以及参与 Join 的 key 是否可以排序等条件来选择最 终的 ...
分类：
其他好文 时间：
2021-06-10 18:28:12
阅读次数：
0
简介 ES8引入了SharedArrayBuffer和Atomics，通过共享内存来提升workers之间或者worker和主线程之间的消息传递速度。 本文将会详细的讲解SharedArrayBuffer和Atomics的实际应用。 Worker和Shared memory 在nodejs中，引入了 ...
分类：
其他好文 时间：
2021-06-10 18:13:23
阅读次数：
0
1. 安装启动检查Mysql服务。##netstat -tunlp (3306) cd /usr/local/hive/lib ls mysql* cp mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars/ cd /usr/local/ ...
分类：
数据库 时间：
2021-06-07 20:10:49
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障，在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类：
其他好文 时间：
2021-06-07 20:05:58
阅读次数：
0
1. 准备文本文件： 从文件创建RDD lines=sc.textFile()： 筛选出含某个单词的行 lines.filter()，lambda 参数：条件表达式： 2. 生成单词的列表： 从列表创建RDD words=sc.parallelize()： 筛选出长度大于2 的单词 words.fi ...
分类：
其他好文 时间：
2021-06-07 20:04:33
阅读次数：
0
