码迷,mamicode.com
首页 >  
搜索关键字:scala spark    ( 10387个结果
一个使用sbt编译的JNI C++ 的模板
如果你需要在Scala或是Java中调用C或C++函数库,就需要使用JNI, 这里就涉及到编译scala ,java 和C(C++)代码,在这里给出一个程序的框架,我们使用sbt 缺省的代码目录文件目录src—>main——–>java——–>scala——–>c其中目录c存放C++代码 ,java目录放置Java代码, scala目录放置Scala代码项目组用来编译的相关文件为build.sbt...
分类:编程语言   时间:2014-09-01 12:41:43    阅读次数:244
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(2)
进入第二台机器,看一下这台主机的IP地址: 可以看出这台主机的IP地址是“192.168.184.131”. 我们在/etc/hostname中把主机名称修改为“Slave1”: 保存退出。 为了使修改生效,我们重新启动该机器,此时查看主机名...
分类:其他好文   时间:2014-09-01 10:56:13    阅读次数:194
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(2)
进入第二台机器,看一下这台主机的IP地址:可以看出这台主机的IP地址是“192.168.184.131”.我们在/etc/hostname中把主机名称修改为“Slave1”:保存退出。为了使修改生效,我们重新启动该机器,此时查看主机名:表明我们的修改生效了。进入第三台机器,看一下这台主机的IP地址:...
分类:其他好文   时间:2014-09-01 10:42:12    阅读次数:157
Spark Streaming 执行流程
Spark Streaming 是基于spark的流式批处理引擎,其基本原理是把输入数据以某一时间间隔批量的处理,当批处理间隔缩短到秒级时,便可以用于处理实时数据流。本节描述了Spark Streaming作业的执行流程。图1 Spark Streaming作业的执行流程具体流程:客户端提交作业后启...
分类:其他好文   时间:2014-08-30 13:52:19    阅读次数:292
JVM原生不支持尾递归优化,但是Scala编译器支持
The?JVM doesn’t support TCO natively, so tail recursive methods will need to rely on the?Scala compiler performing the optimization.----------"Scala in Depth" 3.5.2 Jvm本身是不支持尾递归优化得,...
分类:其他好文   时间:2014-08-29 22:47:58    阅读次数:368
Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈与熟练的掌握Scala语言【大数据Spark
Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈 ????? 大数据的概念与应用,正随着智能手机、平板电脑的快速流行而日渐普及,大数据中图的并行化处理一直是一个非常热门的话题。图计算正在被广泛地应用于社交...
分类:其他好文   时间:2014-08-29 18:37:08    阅读次数:270
Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈与熟练的掌握Scala语言【大数据Spark实战高手之路】
Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈 大数据的概念与应用,正随着智能手机、平板电脑的快速流行而日渐普及,大数据中图的并行化处理一直是一个非常热门的话题。图计算正在被广泛地应用于社交网络、电子商务,地图等领域。对于图计算的两个核心问题:图存储模式和图计算模型,Spark Graph...
分类:其他好文   时间:2014-08-29 17:55:48    阅读次数:338
scala与java之间的那些事
scala与java之间的关系,我认为可以用一句话来开头:scala来源于java,但又高于java。scala的设计者Martin Odersky就是一个JAVA控,这位牛人设计了javac和编写了jdk中的通用代码。可以说java语言本身就是Martin Odersky一步一步看着长大的。所以s...
分类:编程语言   时间:2014-08-28 22:26:56    阅读次数:393
scala actor编程之对象传递
scala 最吸引人的一点就是actor并发编程了。但是纵观scala官方文档,baidu文档,IBM文档都写的通过字符串传呀传,如果用作actor编程说明当然没有问题。但是在正式开放中,光传字符串就显的势单力薄了。所以如何传对象呢?先看通过字符串传递消息的模型:消息接收类:import scala...
分类:其他好文   时间:2014-08-28 17:48:45    阅读次数:227
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(1)
在VMWare 中准备第二、第三台运行Ubuntu系统的机器; ? 在VMWare中构建第二、三台运行Ubuntu的机器和构建第一台机器完全一样,再次不在赘述。。 与安装第一台Ubuntu机器不同的几点是: 第一点:我们把第二、三台...
分类:其他好文   时间:2014-08-28 17:04:31    阅读次数:264
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!