spark sql使用自己封装的livy 引擎执行时有丢失数据情况。排查发现livy session页面中的sql有中文乱码。 之后在livy 源码中未找到相关序列化指定字符集的代码。回头排查自己的代码 修改完毕后重新执行 观察livy session中的sql。 果然乱码没了,执行结果集跟spar ...
分类：
Web程序 时间：
2020-05-09 16:39:29
阅读次数：
91
1 package com.bawei.core 2 3 import org.apache.spark.rdd.RDD 4 import org.apache.spark.{SparkConf, SparkContext} 5 6 /** 7 * 单词统计 8 9 */ 10 object Spa ...
分类：
数据库 时间：
2020-05-05 18:27:44
阅读次数：
87
Spark Job log 文件分析： 下面是一个Spark 数据据统计Job 的 log 文件， 从前到后的顺序分析Job的执行过程（Spark local mode）。 启动 SparkContext 提交 Job RatingHistogram 20/05/04 18:02:20 INFO S ...
分类：
其他好文 时间：
2020-05-05 09:12:49
阅读次数：
103
https://www.esmap.cn/sdk-demo/demo/Case/Park/index.html?id=test666&styleid=1004&t=cnb https://www.esmap.cn/escopemap/content/cn/member/mapdownload.htm ...
分类：
其他好文 时间：
2020-05-03 01:07:17
阅读次数：
132
Kefa decided to celebrate his first big salary by going to the restaurant. He lives by an unusual park. The park is a rooted tree consisting of n vert ...
分类：
其他好文 时间：
2020-04-26 10:57:48
阅读次数：
62
import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.mapreduce.TableInputFormat import org.apache.hadoop.hbase.util.Bytes ...
分类：
其他好文 时间：
2020-04-22 09:16:07
阅读次数：
55
简评：国外大佬复刻 Apple Park，看了一下细节，确实厉害！只有你想不到，没有乐高拼不起来的，有没有乐高大神挑战一下？ 苹果公园以各种各样的方式鼓舞人心，让人感兴趣。从建筑、可持续性和成本，到像扬声器设计这样的精致细节，无不让它成为世界上最迷人的公司总部之一。 国外的乐高大神 Spencer_ ...
分类：
移动开发 时间：
2020-04-22 00:01:45
阅读次数：
104
git commit时使用 emoji 为本次提交打上一个 “标签”, 使得此次 commit 的主要工作得以凸现，也能够使得其在整个提交历史中易于区分与查找。 git commit时，提交信息遵循以下格式： :emoji1: :emoji2: 主题 提交信息主体 Ref <###> emoji 指 ...
分类：
其他好文 时间：
2020-04-12 20:34:16
阅读次数：
80
APA自动泊车系统 1. 半自动泊车 自动泊车又称为自动泊车入位，它对于新手来说是一项相当便捷的配置，对于老手来说也省了些不少力气。那么自动泊车的原理是什么呢？能想怎么停就怎么停，想停哪儿就停哪儿吗？下面咱们就来说道说道。 有什么用？ 该系统能自动帮驾驶者将车停入甚至驶出车位，无需自己打方向。 有什 ...
分类：
其他好文 时间：
2020-04-05 09:29:50
阅读次数：
943
# 使用SparkSQL编写wordCount的词频统计 ## word.txt```hello hello scala sparkjava sql html java hellojack jack tom tom you he he sql``` ## spark 代码：```objec ...
分类：
数据库 时间：
2020-03-30 21:50:35
阅读次数：
213
