说明：本机是在win10系统下，安装用的是VMware15，centOS7,JDK1.8,spark-2.4.0,hadoop-2.7.7,apache-hive-2.3.4,scala-2.12.8。在VMware里创建了node01,node02,node03,node04四个节点(或者叫四个虚拟机)。注意在使用vm14版本的时候出现黑屏，情况如下：在vm上安装好4个节点后，用管理员身份打开V
分类：
其他好文 时间：
2019-10-13 10:24:41
阅读次数：
97
目录 预热 管理单个 unit 查看系统上的 unit 管理不同的操作环境(target unit) 检查 unit 之间的依赖性 相关的目录和文件 systemctl daemon-reload 子命令 总结 笔者在前文中概要的介绍了 systemd 的基本概念和主要特点。由于 systemd 相 ...
分类：
其他好文 时间：
2019-10-12 22:55:48
阅读次数：
106
A.Median 这题的数据生成方式并没有什么规律，所以可以认为是随机数据。 维护一个桶，表示当前K长区间里的值域情况。 并且用变量记录中位数值域上的左侧有多少个数，当区间调整时一并调整桶和这个变量即可。 由于是随机数据，所以每次的调整幅度并不会很大，近似于常数。 复杂度$O(n)$。 B.Game ...
分类：
其他好文 时间：
2019-10-08 09:46:39
阅读次数：
110
题目描述 公园里有$n$个雕像，有$n-1$条道路分别连接其中两个雕像，任意两个雕像可以直接或间接相连。现在每个景点$i$聚集着$P_i$只鸽子，旅行家手里有$v$数量的面包屑。 一旦旅行家在雕像$i$撒下$1$单位面包屑，那么相邻的雕像的鸽子就都会飞到雕像$i$来觅食。 时间线是这样的：首先，旅行 ...
分类：
其他好文 时间：
2019-10-07 21:43:48
阅读次数：
78
几位朋友找我，做一个基于spark的推荐系统。我们于是买了三台阿里云服务器折腾一下。 1.配置putty和安装nano 2.配置主机映射 /etc/hosts 3. ...
分类：
其他好文 时间：
2019-10-07 13:34:38
阅读次数：
92
PS：实操部分就省略了哈，准备最近好好看下理论这块，其实我是比较懒得哈！！！ <?>MapReduce的概述 MapReduce是一种计算模型，进行大数据量的离线计算。MapReduce实现了Map和Reduce两个功能：其中Map是滴数据集上的独立元素进行指定的操作，生成键——值对形式中间结果。其 ...
分类：
其他好文 时间：
2019-10-07 00:50:10
阅读次数：
157
18W喂不饱有必要买30W充电器吗？iPhone 11 Pro Max充电评测 2019年10月02日 07:31 526 次阅读 稿源：充电头网 0 条评论 北京时间9月11日凌晨1点，苹果在位于美国加州的Apple Park乔布斯剧院召开2019年秋季新品发布会，正式发布2019年的三款全新的i ...
分类：
其他好文 时间：
2019-10-04 09:33:49
阅读次数：
93
spark整合hive后，hive启动报错： ls: cannot access /export/servers/spark/lib/spark-assembly-*.jar: No such file or directory 原因：spark版本升级到2.x以后,原有lib目录下的大JAR包被分 ...
分类：
其他好文 时间：
2019-10-03 23:44:17
阅读次数：
162
hbase的操作命令 https://www.cnblogs.com/lzh-boy/p/8966826.html code:查看表数据 from pyspark.sql import SparkSessionimport osos.environ['PYSPARK_PYTHON']='/opt/a ...
分类：
其他好文 时间：
2019-09-29 18:20:50
阅读次数：
110
1. Java 内存区域与内存溢出异常1.1 运行时数据区域根据《Java 虚拟机规范(Java SE 7 版)》规定，Java 虚拟机所管理的内存如下图所示。 1.1.1 程序计数器 内存空间小，线程私有。字节码解释器工作是就是通过改变这个计数器的值来选取下一条需要执行指令的字节码指令，分支、循环 ...
分类：
编程语言 时间：
2019-09-27 12:21:59
阅读次数：
60
