ListenerBus Spark 很多地方需要对一些事件进行监听或处理，这就涉及到到了 Listener。 比如：当一个Batch完成的时候，需要做什么。当stream 启动时候时候需要做什么等。再具体的例子，就是我想看每个batch 里面的数据量是多少 对于不同场景有不同的 Listener 比 ...
分类：
其他好文 时间：
2020-02-25 00:10:45
阅读次数：
79
当程序变得庞大时，你需要一些方法把它们分割成更小的，更易管理的片段。为了分割控制流，Scala 提供了所有有经验的程序员都熟悉的方式：把代码分割成函数。实际上，Scala 提供了许多 Java 中没有的定义函数的方式。除了作为对象成员函数的方法之外，还有内嵌在函数中的函数， 函数文本和函数值。本章带 ...
分类：
其他好文 时间：
2020-02-24 15:17:06
阅读次数：
70
hadoop+spark集群搭建 本次实验环境：两台hadoop+两台spark组成集群 环境准备： 1. 两个主机实现ssh无密钥认证，包括本机与本机的免密钥认证: ssh-keygren ：生成一对密钥 ssh-copy-id : 把公钥发给对方服务器 2. 集群间需实现时间同步：... ...
分类：
其他好文 时间：
2020-02-23 18:34:33
阅读次数：
90
前言做Java开发，没有人敢小觑SpringBoot的重要性，现在出去面试，无论多小的公司or项目，都要跟你扯一扯SpringBoot，扯一扯微服务，如果啃不下来，很可能就与大厂失之交臂。精通SpringBoot的原理实现的话，可以帮助你更好地职业进阶，学习前辈优秀的架构设计思想，总结出最优使用方案，绕过工作中遇到的很多坑。一个框架的源码也是最大的知识库，源码是一层一层嵌套的，光靠文字说明会比较难
分类：
编程语言 时间：
2020-02-22 23:43:30
阅读次数：
84
```package flinkimport org.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimport org.apache.flink.api.scala._case class SensorReading(id: ... ...
Spark 集群模式 系统当前支持几种集群管理器： Standalone – 包含在spark中的一个简单集群管理器，它使得设置一个集群很容易。 Apache Mesos – 一个通用集群管理器，也能运行Hadoop MapReduce 和 service 应用。 Hadoop YARN – the ...
分类：
其他好文 时间：
2020-02-22 14:09:44
阅读次数：
86
当前Spark最新版本为Spark 2.4.5。Spark 使用Hadoop’s client libraries 存取HDFS and YARN。下载是流行hadoop版的便宜预包装。用户也可以下载免hadoop的二进制包，通过参数Spark’s classpath 运行spark 用于任何Had ...
分类：
其他好文 时间：
2020-02-22 13:56:26
阅读次数：
182
Quick Start Security Interactive Analysis with the Spark Shell Basics More on Dataset Operations Caching Self-Contained Applications Where to Go from ...
分类：
其他好文 时间：
2020-02-22 13:54:19
阅读次数：
106
Spark 提交应用 Spark’s bin 目录的spark-submit 脚本用于在一个集群上启动应用。它能通过统一的接口使用所有Spark支持的集群管理器。你不必为每个特别配置你的应用。 统一语法如下： ./bin/spark-submit \ --class <main-class> \ - ...
分类：
其他好文 时间：
2020-02-22 13:53:33
阅读次数：
73
将Spark on Kubernetes与阿里云深度整合，设计一个开箱即用的Spark on Kubernetes镜像。 ...
分类：
Web程序 时间：
2020-02-22 13:53:07
阅读次数：
74
