Scala 是一门多范式(multi-paradigm)的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala 运行在Java虚拟机上,并兼容现有的Java程序。 Scala 源代码被编译成Java字节码,所以它可以运行于JVM之上,并可以调用现有的Java类库。 试着用 Sc ...
分类:
其他好文 时间:
2020-02-02 14:06:16
阅读次数:
74
今天通过菜鸟教程中Scala教程https://www.runoob.com/scala/scala-intro.html来初步学习Scala语言,并且安装了scala Scala 是 Scalable Language 的简写,是一门多范式的编程语言。Scala也是一种函数式语言,其函数也能当成值 ...
分类:
其他好文 时间:
2020-02-02 01:45:47
阅读次数:
91
今天的学习主要是了解spark生态体系以及观看了子雨大数据之Spark入门教程(Scala版)的介绍,现将对spark的初步了解以及日后可能会用到的一些知识总结如下: 一、spark简介 Spark是加州大学伯克利分校AMP实验室(Algorithms, Machines, and People L ...
分类:
其他好文 时间:
2020-02-02 01:33:35
阅读次数:
93
今天编写了对一个网页中的内容进行爬取的Java程序,学习到了一些关于htmlunit爬取有ajax响应的网页中的内容。 同时,对于linux中的spark的环境和scala环境进行了简单的搭建。 具体的搭建博客网址在:https://www.cnblogs.com/halone/p/12238524 ...
分类:
其他好文 时间:
2020-02-02 00:56:09
阅读次数:
93
分布式数据集 编辑 Spark围绕的核心概念,是弹性分布式数据集(RDD),一个有容错机制,可以被并行操作的集合。目前有两种类型的RDD: 并行集合(Parrallelized Collections),接收一个已经存在的Scala集合,在它上面运行各种并发计算; Hadoop数据集(Hadoop ...
分类:
其他好文 时间:
2020-02-01 23:17:16
阅读次数:
80
简单了解了spark,scala语言等,并尝试配置相关环境,安装Scala,spark和支持Scala语言的eclipse:scala ide for eclipse(安装scala ide for eclipse可以省下很多工夫去不用安装maven和scala类似的相关插件) Spark最初的设计 ...
分类:
其他好文 时间:
2020-02-01 23:13:34
阅读次数:
91
SparkContext是编写Spark程序用到的第一个类,是Spark的主要入口点,用于连接Spark集群、创建RDD、累加器和广播变量,是Spark程序的根本。编写不同类型的Spark程序,使用的SparkContext是不同的Scala 使用SparkContextJava 使用JavaSpa ...
分类:
其他好文 时间:
2020-02-01 21:42:00
阅读次数:
73
今天继续学习了scala的相关知识。 经过一下午的时间,把windows中eclipse的maven和scala插件成功安装上了,但是Linux中的eclipse却安装不上,经过查询,初步判断是eclipse的版本太低,导致maven插件安装失败。于是对Linux中的eclipse进行了更新,但一下 ...
分类:
其他好文 时间:
2020-02-01 21:22:40
阅读次数:
70
一、Scala概述 Scala是一门多范式编程语言,集成了面向对象编程和函数式编程等多种特性。 scala运行在虚拟机上,并兼容现有的Java程序。 Scala源代码被编译成java字节码,所以运行在JVM上,并可以调用现有的Java类库。 二、基本语法 1.区分大小写 2.类名首字母大写(MyFi ...
分类:
其他好文 时间:
2020-02-01 21:15:01
阅读次数:
66
本文将介绍以下内容:Windows下安装scala运行环境,安装编译工具并简单配置,实现著名的“Hello,World"。 一,Windows下安装scala运行环境 1.配置jdk,因为scala的运行需要依靠jvm虚拟机,所以在使用scala时需要有java环境 2.官网下载scala包,点击这 ...
分类:
其他好文 时间:
2020-02-01 21:02:18
阅读次数:
77