一、实验目的 （1）通过实验学习日志采集工具 Flume 的安装和使用方法； （2）掌握采用 Flume 作为 Spark Streaming 数据源的编程方法。 二、实验平台 操作系统： Ubuntu16.04 Spark 版本：2.1.0 Flume 版本：1.7.0 三、实验内容和要求 1.安 ...
分类：
其他好文 时间：
2020-01-27 23:56:31
阅读次数：
256
首先要配置spark环境：包括linux系统的安装，java，ssh，Hadoop，Scala，spark的安装与环境变量设置。 linux虚拟机、ssh、Hadoop已经安装完毕，Scala，spark还未安装 然后进行java的学习，在以前的学习中java已经学习了一部分，这次还需要继续进行相应 ...
分类：
其他好文 时间：
2020-01-27 22:19:21
阅读次数：
85
下载完Spark后，启动spark shell 然后建在了spark自带的本地测试文件，以及简单的RDD操作和退出spark shell 并且下载了 独立应用程序编程 scala独立应用编程 在安装sbt中耗时很长 安装的时候耗时很长，安装完成后 检测sbt不可用，心态爆炸 独立应用程序编程 ...
分类：
其他好文 时间：
2020-01-27 22:16:29
阅读次数：
80
今天主要学习了对spark的初步认识以及相应名词的理解 包括Spark特点、 Scala特性、BDAS架构、Spark组件的应用场景、Spark基本概念、Spark运行架构、 Spark架构设计的优点 、Spark各种概念之间的相互关系 Hadoop 是基于磁盘的大数据计算框架 Spark是基于内存 ...
分类：
其他好文 时间：
2020-01-26 22:32:22
阅读次数：
95
Transformation算子 基本的初始化 （1）java （2）scala map、flatMap、mapParations、mapPartitionsWithIndex map jdk7 map十分容易理解，他是将源JavaRDD的一个一个元素的传入call方法，并经过算法后一个一个的返回从 ...
分类：
其他好文 时间：
2020-01-26 18:56:01
阅读次数：
73
（1）scala与java都有7中数值类型：int、short、long、byte、float、double、boolean这7种，但是scala中这7种值类型是类，在java中属于基本类型，java中，数据类型分成基本类型和引用类型，scala中不区分。（2）scala中的变量或函数的类型总是写在 ...
分类：
编程语言 时间：
2020-01-26 00:48:16
阅读次数：
91
西电2019的招新赛，也是我开始接触逆向做的几道入门题目，在赛后大佬们wp的帮助下边学边复现。 ...
分类：
其他好文 时间：
2020-01-24 00:24:14
阅读次数：
160
Description 描述 给一个 $n \times m$ 的矩阵，你想要把它还原成如下的矩阵： 你有两种操作： 选择一个数，修改它的值。 选择一列，每个元素上移一位，第一行的元素移到第 $n$ 行。 求还原的最小操作次数。 输入 第一行两个正整数 $n, m$（$1 \le n, m \le ...
分类：
其他好文 时间：
2020-01-23 22:54:17
阅读次数：
136
一、实验目的 1.掌握 Scala 语言的基本语法、数据结构和控制结构； 2.掌握面向对象编程的基础知识，能够编写自定义类和特质； 3.掌握函数式编程的基础知识，能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本 层次结构，熟练使用常用的容器类进行数据； 4.熟练掌握 Scala 的 REPL ...
分类：
其他好文 时间：
2020-01-23 22:28:59
阅读次数：
170
一：首先我们先来看一下js有哪些基础数据类型 基础类型：undefined，unll，number，string，boolean，symbol 引用类型：object对象类型（object，array，function，data） 二：对于这两种类型有几个关键知识点 基础类型存在于栈中 引用类型的值 ...
分类：
编程语言 时间：
2020-01-23 16:43:48
阅读次数：
101
