SparkSql 是架构在 Spark 计算框架之上的分布式 Sql 引擎，使用 DataFrame 和 DataSet 承载结构化和半结构化数据来实现数据复杂查询处理，提供的 DSL可以直接使用 scala 语言完成 Sql 查询，同时也使用? thriftserver 提供服务化的 Sql 查询功能。
分类：
数据库 时间：
2019-05-17 09:32:42
阅读次数：
200
8.1 静态属性和静态方法 8.1.1 静态属性-提出问题 有一群小孩在玩堆雪人，不时有新的小孩加入，请问如何知道现在共有多少人在玩？请使用面向对象的思想，编写程序解决 8.1.2 基本介绍 －Scala中静态的概念-伴生对象 Scala语言是完全面向对象(万物皆对象)的语言，所以并没有静态的操作( ...
分类：
其他好文 时间：
2019-05-05 21:52:35
阅读次数：
133
大数据是眼下非常时髦的技术名词，与此同时自然也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。Hadoop工程师用人企业普遍要求掌握以下技术：1、熟悉Linux开发环境，熟悉Shell命令2、熟悉Java、python、scala语言（至少一种）3、具备较丰富的基于Hadoop、MapReduce、Yarn、Storm、Spark、Hive、Hbase、kafka、F
分类：
其他好文 时间：
2019-05-03 16:24:53
阅读次数：
132
使用Geotellis的API上传本地Tiff文件到Hadoop 涉及依赖： 核心代码(scala语言) ...
分类：
Web程序 时间：
2019-04-22 20:54:30
阅读次数：
283
Kafka 的简介： Kafka 是一款分布式消息发布和订阅系统，具有高性能、高吞吐量的特点而被广泛应用与大数据传输场景。它是由 LinkedIn 公司开发，使用 Scala 语言编写，之后成为 Apache 基金会的一个顶级项目。kafka 提供了类似 JMS 的特性，但是在设计和实现上是完全不同 ...
分类：
其他好文 时间：
2019-04-16 01:04:13
阅读次数：
188
Spark 2.x管理与开发 第一篇：Scala编程语言 一、Scala语言基础 1、Scala语言简介 Scala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。它也能运行于CLDC配置的Ja ...
分类：
其他好文 时间：
2019-04-02 14:11:55
阅读次数：
190
Scala简单介绍 Scala(Scala Language的简称)语言是一种能够执行于JVM和.Net平台之上的通用编程语言。既可用于大规模应用程序开发，也可用于脚本编程，它由由Martin Odersk于2001开发。2004年開始程序执行在JVM与.Net平台之上。由于其简洁、优雅、类型安全的 ...
分类：
编程语言 时间：
2019-03-02 10:56:24
阅读次数：
216
一、Akka简介 Akka时spark的底层通信框架，Hadoop的底层通信框架时rpc。 并发的程序编写很难，但是Akka解决了spark的这个问题。 Akka构建在JVM平台上，是一种高并发、分布式、并且容错的应用工具包； Akka使用Scala语言编写，同时它提供了Scala和Java的开发接 ...
分类：
其他好文 时间：
2019-01-20 10:31:05
阅读次数：
163
https://mp.weixin.qq.com/s/j8mt_qvwliKIKtlN6JcyqQ 介绍Intellij IDEA安装Scala插件后，如何在阅读和编码两方面助益开发者。 1. 语言专家 Scala是一门多范式编程语言，在支持面向对象编程的同时，也支持函数式语法。再加上隐式规则和宏等 ...
分类：
编程语言 时间：
2019-01-12 00:18:50
阅读次数：
433
https://mp.weixin.qq.com/s/mTmXXBzSizgiigFYVQXKpw 介绍Chisel与Scala的不同与关联。 ?? 一. 层次高低 Chisel是使用Scala语言编写的具体代码。从抽象层次上看，Scala更高。 1. 语言与代码 Chisel是使用Scala语言编 ...
分类：
其他好文 时间：
2019-01-07 17:43:52
阅读次数：
363
