Spark大数据平台有使用一段时间了，但大部分都是用于实验而搭建起来用的，搭建过Spark完全分布式，也搭建过用于测试的伪分布式。现在是写一遍随笔，记录一下曾经搭建过的环境，免得以后自己忘记了。也给和初学者以及曾经挖过坑的人用作参考。 Hive on Spark是Hive跑在Spark上，用的是Sp ...
分类：
其他好文 时间：
2019-08-10 21:07:25
阅读次数：
138
java并发LockSupport LockSupport是阻塞和唤醒线程的重要类。 park()方法使得 当前线程 阻塞 unpark(Thread thread)唤醒线程 例子 可以把注释取消再执行，就会发现park()方法使得 当前线程 阻塞会使得main线程阻塞，无法结束。 java pac ...
分类：
编程语言 时间：
2019-08-09 13:34:10
阅读次数：
84
CountDownLatch 通常情况下，countDown如下调用 看一下countDown方法： AQS中releaseShared方法如下： CountDownLatch中tryReleaseShared方法如下： 来看doReleaseShared（）方法： 不过尴尬的是，CountDown ...
分类：
其他好文 时间：
2019-08-08 23:11:25
阅读次数：
97
Apache Spark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver 端采用的模型），这与Hadoop 2.0（包括YARN和MapReduce）是一致的。Hadoop 2.0自己实现了类似Actor的异步并发模型，实现方式是epoll+状态机，而Apache Sp ...
分类：
编程语言 时间：
2019-07-30 21:30:40
阅读次数：
125
SparkSQL是指整合了Hive的spark-sql cli, 本质上就是通过Hive访问HBase表，具体就是通过hive-hbase-handler, 具体配置参见：Hive(五):hive与hbase整合 目录： SparkSql 访问 hbase配置 测试验证 SparkSql 访问 hb ...
分类：
数据库 时间：
2019-07-29 00:15:25
阅读次数：
107
锁是最常用的同步方法之一，在高并发的环境下激烈的锁竞争会导致程序的性能下降，所以我们自然有必要深入的学习一下锁的相关知识。 java的内置锁一直都是备受争议的，在JDK 1.6之前，synchronized这个重量级锁其性能一直都是较为低下，虽然在1.6后，进行大量的锁优化策略，如自适应自旋，锁消除 ...
分类：
其他好文 时间：
2019-07-26 16:08:53
阅读次数：
114
Spark 项目实战企业级，源码深度剖析，机器学习，数据分析 ...
分类：
其他好文 时间：
2019-07-22 15:22:56
阅读次数：
119
English 介词 Create Time : 2019 06 27 表示时间的介词称为时间介词.表示时间的介词有：at, on, in, before, after等. 一、at, on和in ① at 表示：（在（某时刻、时间、阶段）,在……岁时） My cousin joined the a ...
分类：
其他好文 时间：
2019-07-19 20:25:21
阅读次数：
115
练习赛44 Begin: 2019 04 03 18:35 PDD:355rlb A Kefa and Park "CodeForces 580C" 标签 ：暴力dfs(55) 题目大意 ： ? 一棵以1为根的树，树上有些点是红的。一个叶子是合法的当且仅当从根到它的路径上出现的 连续 红点个数不超过 ...
分类：
其他好文 时间：
2019-07-15 15:57:30
阅读次数：
99
题目链接：http://codeforces.com/problemset/problem/580/C 题目大意：给定一棵 N 个节点的有根树（其中根节点始终为 1 号节点），点有点权，点权只有 1 和 0 两种，求从根节点到叶子节点的路径中，有多少条路径满足：路径上最大连续点权为 1 的节点个数不 ...
分类：
其他好文 时间：
2019-07-12 00:33:52
阅读次数：
98
