实验三spark和hadoop的安装 hadoop的安装在之前的随笔中已经介绍过，此处传送门：https://www.cnblogs.com/heiyang/p/11293969.html 接着介绍，spark的安装，不是很难，唯一需要注意的是不同的hadoop版本都有对应的spark版本，下载的时 ...
分类：
其他好文 时间：
2020-01-13 23:38:59
阅读次数：
149
查spark version:spark-sql --version spark的开源包: apache的dist下载spark-2.4.3-bin-hadoop2.8.tgz 1/ spark要访问s3需要cp /usr/lib/hadoop-current/share/hadoop/tools/ ...
分类：
其他好文 时间：
2020-01-11 11:50:20
阅读次数：
125
LockSupport类是个工具类，主要作用是挂起和唤醒线程，是创建锁与其他同步类的基础 LockSupport类与每个使用它的线程都会关联一个许可证，默认情况下调用LockSupport类的方法的线程是不持有许可证的。LockSupport是unsafe类park、unpark方法的封装使用。 一 ...
分类：
其他好文 时间：
2020-01-09 00:56:01
阅读次数：
82
使用kafka和sparkstreaming整合时，IDEA运行程序报错"com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.1"，初步看是版本不兼容，但是版本后面确认没有问题， ...
分类：
移动开发 时间：
2020-01-05 09:29:41
阅读次数：
291
[相关源码] (https://github.com/Wasabi1234/Java Concurrency Progamming Tutorial) 1 Unsafe类的park和unpark park方法用来阻塞一个线程,第一个参数用来指示后面的参数是绝对时间还是相对时间,true表示绝对时间, ...
分类：
编程语言 时间：
2020-01-05 09:21:55
阅读次数：
134
一、前言 LockSupport工具类用于阻塞或唤醒线程。LockSupport定义了一组的公共静态方法，这些方法提供了最基本的线程组阻塞和唤醒功能，而LockSupport也成为构建同步组件的基础工具。 LockSupport定义了一组以park开头的方法用来阻塞当前线程，以及unpark(Thr ...
分类：
其他好文 时间：
2019-12-30 22:54:06
阅读次数：
101
文章目录1、Yarn介绍2、Yarn架构2.1 、ResourceManager2.2 、ApplicationMaster2.3 、NodeManager2.4 、Container2.5 、Resource Request 及 Container2.6 、JobHistoryServer2.7、 ...
分类：
其他好文 时间：
2019-12-28 19:24:00
阅读次数：
94
昨天我们去女儿好朋友家过圣诞节！吃的好开心，羊排吃的最开心，然后教我认识了好多酒的名字。我简直是土的掉渣，完全不知道这些很common的酒名字。Mimosa是3/2的sparkling wine加3/1的橙汁；sparkling wine意大利的叫Prosecco，更甜的叫Mascato。 ...
分类：
其他好文 时间：
2019-12-27 09:46:32
阅读次数：
91
spark参数介绍 https://endymecy.gitbooks.io/spark-config-and-tuning/content/config.html ...
分类：
其他好文 时间：
2019-12-26 14:53:55
阅读次数：
65
此题考查的是线程间的通信方式。 可以利用park/unpark实现 可以利用volatile关键字实现 可以利用synchronized结合wait notify实现 可以利用JUC中的CountDownLatch实现 可以利用Condition中的await signal 实现 代码示例 利用Pa ...
分类：
编程语言 时间：
2019-12-24 23:40:45
阅读次数：
156
