以前公司用的是spark-core，但是换工作后用的多是spark-sql。最近学习了很多spark-sql，在此做一个有spark经验的sparksql快速入门的教程。 JDK安装包 1.8版本：https://pan.baidu.com/s/1pLW3jyKv3N_FhQ7vvE4U2g SCA ...
分类：
数据库 时间：
2019-10-13 20:59:48
阅读次数：
154
说明：本机是在win10系统下，安装用的是VMware15，centOS7,JDK1.8,spark-2.4.0,hadoop-2.7.7,apache-hive-2.3.4,scala-2.12.8。在VMware里创建了node01,node02,node03,node04四个节点(或者叫四个虚拟机)。注意在使用vm14版本的时候出现黑屏，情况如下：在vm上安装好4个节点后，用管理员身份打开V
分类：
其他好文 时间：
2019-10-13 10:24:41
阅读次数：
97
目录 预热 管理单个 unit 查看系统上的 unit 管理不同的操作环境(target unit) 检查 unit 之间的依赖性 相关的目录和文件 systemctl daemon-reload 子命令 总结 笔者在前文中概要的介绍了 systemd 的基本概念和主要特点。由于 systemd 相 ...
分类：
其他好文 时间：
2019-10-12 22:55:48
阅读次数：
106
A.Median 这题的数据生成方式并没有什么规律，所以可以认为是随机数据。 维护一个桶，表示当前K长区间里的值域情况。 并且用变量记录中位数值域上的左侧有多少个数，当区间调整时一并调整桶和这个变量即可。 由于是随机数据，所以每次的调整幅度并不会很大，近似于常数。 复杂度$O(n)$。 B.Game ...
分类：
其他好文 时间：
2019-10-08 09:46:39
阅读次数：
110
题目描述 公园里有$n$个雕像，有$n-1$条道路分别连接其中两个雕像，任意两个雕像可以直接或间接相连。现在每个景点$i$聚集着$P_i$只鸽子，旅行家手里有$v$数量的面包屑。 一旦旅行家在雕像$i$撒下$1$单位面包屑，那么相邻的雕像的鸽子就都会飞到雕像$i$来觅食。 时间线是这样的：首先，旅行 ...
分类：
其他好文 时间：
2019-10-07 21:43:48
阅读次数：
78
几位朋友找我，做一个基于spark的推荐系统。我们于是买了三台阿里云服务器折腾一下。 1.配置putty和安装nano 2.配置主机映射 /etc/hosts 3. ...
分类：
其他好文 时间：
2019-10-07 13:34:38
阅读次数：
92
PS：实操部分就省略了哈，准备最近好好看下理论这块，其实我是比较懒得哈！！！ <?>MapReduce的概述 MapReduce是一种计算模型，进行大数据量的离线计算。MapReduce实现了Map和Reduce两个功能：其中Map是滴数据集上的独立元素进行指定的操作，生成键——值对形式中间结果。其 ...
分类：
其他好文 时间：
2019-10-07 00:50:10
阅读次数：
157
18W喂不饱有必要买30W充电器吗？iPhone 11 Pro Max充电评测 2019年10月02日 07:31 526 次阅读 稿源：充电头网 0 条评论 北京时间9月11日凌晨1点，苹果在位于美国加州的Apple Park乔布斯剧院召开2019年秋季新品发布会，正式发布2019年的三款全新的i ...
分类：
其他好文 时间：
2019-10-04 09:33:49
阅读次数：
93
spark整合hive后，hive启动报错： ls: cannot access /export/servers/spark/lib/spark-assembly-*.jar: No such file or directory 原因：spark版本升级到2.x以后,原有lib目录下的大JAR包被分 ...
分类：
其他好文 时间：
2019-10-03 23:44:17
阅读次数：
162
hbase的操作命令 https://www.cnblogs.com/lzh-boy/p/8966826.html code:查看表数据 from pyspark.sql import SparkSessionimport osos.environ['PYSPARK_PYTHON']='/opt/a ...
分类：
其他好文 时间：
2019-09-29 18:20:50
阅读次数：
110
