1、常量和变量val声明出来的为常量，不能再次赋值；可以省略类型，scala会自动推导。var声明出来的为变量，可以再次赋值；可以省略类型，scala会自动推导。var a = "xxx"; 等同于 var a : String = "xxx";a = "String 2";val b = 2;b ...
分类：
其他好文 时间：
2014-09-14 16:40:17
阅读次数：
131
1、安装JDK2、安装Scala到http://scala-lang.org/下载scala程序wgethttp://scala-lang.org/files/archive/scala-2.10.4.tgztar -zxvfscala-2.10.4.tgz -C /optln -s /opt/sc...
分类：
其他好文 时间：
2014-09-14 16:30:57
阅读次数：
156
SparkSql实际运用：在spark0.9.x中不支持jdbc操作，spark1.1会加入jdbc支持
版本说明：spark-1.1.0+scala-2.10.4+hive-0.12.0
spark1.1的发布正式版：2014/9/11
1、增加start-thriftserver.sh 服务启动，通过jdbc/odbc直接连接
bin/start-thriftser...
分类：
数据库 时间：
2014-09-13 09:25:24
阅读次数：
329
安装配置hosts配置： 用户： useradd spark1、SSH无密码登录2、JDK3、安装Scala 2.10.44、安装配置Spark4.1、解压与权限 chown -R spark:spark /opt/spark4.2、配置workervi conf/slavesES122ES123E...
分类：
其他好文 时间：
2014-09-12 11:35:33
阅读次数：
197
1、SBT编译vi project/SparkBuild.scala修改仓库："Maven Repository" at "http://172.16.219.120:8080/nexus/content/groups/public/"SPARK_HADOOP_VERSION=2.4.0.2.1.....
分类：
其他好文 时间：
2014-09-12 11:29:43
阅读次数：
234
1、SBT添加插件.sbt/0.13/plugins/plugins.sbt 没用手工创建addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "2.5.0")addSbtPlugin("com.github.mpeltonen...
分类：
其他好文 时间：
2014-09-12 11:29:33
阅读次数：
294
spark自带的example中就有streaming结合kafka使用的案例：$SPARK_HOME/examples/src/main/scala/org/apache/spark/examples/streaming/KafkaWordCount.scala使用方法参见代码描述：Usage: ...
分类：
其他好文 时间：
2014-09-10 17:29:50
阅读次数：
219
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第2期互动问答分享】Q1：新手学习spark如何入手才好？先学习Scala的内容，强烈推荐《快学Scala》；然后按照我们免费发布的“云计算分布式大数据Spark实战高手之路（共3本书）”循序渐进的学习即可，其中“云计算分布..
分类：
其他好文 时间：
2014-09-10 14:20:40
阅读次数：
211
一、什么是kafka?kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50MB），每秒处理55万消息（11..
分类：
其他好文 时间：
2014-09-10 02:50:40
阅读次数：
342
简介 从Scala2.10.0开始提供了一种利用现有数据（变量等）创建字符串的方式--字符串插值(String Interprolation）。 字符串插值允许用户直接在字符串字面量中嵌入变量引用。下面是一个例子： scala> val name = "Jame"name: String = Jam...
分类：
其他好文 时间：
2014-09-09 21:26:09
阅读次数：
194
