Spark安装 参照教程安装Spark 和 Scala 参考链接：http://dblab.xmu.edu.cn/blog/1307-2/ 环境：Linux 已安装Hadoop spark官方下载地址：http://spark.apache.org/downloads.html 参照图中内容下载sp ...
分类：
其他好文 时间：
2020-01-30 23:07:30
阅读次数：
70
今天完成了实验二 目的是 掌握 Scala 语言的基本语法、数据结构和控制结构； 2.掌握面向对象编程的基础知识，能够编写自定义类和特质； 3.掌握函数式编程的基础知识，能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本 层次结构，熟练使用常用的容器类进行数据； 4.熟练掌握 Scala 的 ...
分类：
其他好文 时间：
2020-01-30 23:00:07
阅读次数：
81
scala与java的区别 （1）scala与java都有7中数值类型：int、short、long、byte、float、double、boolean这7种，但是scala中这7种值类型是类，在java中属于基本类型，java中，数据类型分成基本类型和引用类型，scala中不区分。（2）scala ...
分类：
编程语言 时间：
2020-01-30 21:27:06
阅读次数：
64
今日把之前用sbt打包Scala程序剩下的东西学习完了，在学习使用maven打包java程序中遇到了初次打包下载依赖包下载不了，目标网址404的问题，留在明天解决。 安装了scala进行了相关的实验。 明日计划学习使用Eclipse编写Spark应用程序（Scala+Maven）和（Scala+SB ...
分类：
其他好文 时间：
2020-01-29 23:12:50
阅读次数：
89
spark 1. Spark的四大特性 1. 速度快 spark比mapreduce快的两个原因 1. 基于内存 2. 进程与线程 2. 易用性 1. 可以用java、scala、python、R等不同的语言来快速编写spark程序 3. 通用性 4. 兼容性 1. spark程序有多种运行模式 s ...
分类：
其他好文 时间：
2020-01-29 10:40:55
阅读次数：
58
今天把Scala的Java独立应用编程解决了，安装了maven，并且测试了一下Java应用程序代码，以及用maven打包 Java程序，并通过spark-submit 运行程序，过程比较顺利，但是在安装sbt时验 sbt 是否可用，需要下载依赖包，但是我的一直 卡在这里 重新弄会出错，所以先弄了一下 ...
分类：
其他好文 时间：
2020-01-29 00:58:27
阅读次数：
80
（一）进入spark-shell命令界面（默认使用scala的命令界面） 1,如果进入了spark安装目录则使用、 1，一台机器启动spark：./bin/spark-shell --master <master-url>命令可进入shell界面，master-url参数可为：local[*]使用逻 ...
分类：
其他好文 时间：
2020-01-29 00:48:18
阅读次数：
82
一、实验目的 （1）掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法； （2）熟悉 HDFS 的基本使用方法； （3）掌握使用 Spark 访问本地文件和 HDFS 文件的方法。 二、实验平台 操作系统：centos6.4； Scala版本：2.10.6.； Hadoop 版本 ...
分类：
其他好文 时间：
2020-01-28 19:11:15
阅读次数：
94
例一：对目录下的单词文件进行单词统计 /word/first.txt： /word/second.txt： /word/third.txt： 运行结果： import java.io.File; import java.io.PrintWriter; import scala.io.Source; ...
分类：
其他好文 时间：
2020-01-28 13:46:18
阅读次数：
76
