packagecom.dtspark.scala.basics/***Implicits隐式转换实战*/classMan(valname:String)/*objectMan{implicitdefman2SuperMan(man:Man)=newSuperMan(man.name)}*/objectimplicits{implicitdefman2SuperMan(man:Man)=newSuperMan(man.name)}classSuperMan(valname:String){defMa..
分类：
其他好文 时间：
2016-08-08 01:03:38
阅读次数：
201
packagecom.dtspark.scala.basicsimportscala.actors.Actor/***Scala多线程实战*1：开发环境：ScalaIDE（版本为：2.11.8）集成开发环境*2：引用jar包：scala-actors.jar,scala-actors-migration.jar*3：该实例使用Scala模式匹配以及Scala多线程使用技术* Scala多线程并发调用方..
分类：
其他好文 时间：
2016-08-08 01:02:56
阅读次数：
200
packagecom.dtspark.scala.basics
/**
*函数式编程进阶：
*1，函数和变量一样作为Scala语言的一等公民，函数可以直接赋值给变量；
*2,函数更长用的方式是匿名函数，定义的时候只需要说明输入参数的类型和函数体即可，不需要名称，但是如果你
*要使用的话，一般会把这个匿名函..
分类：
其他好文 时间：
2016-08-05 12:07:24
阅读次数：
274
成都大数据Hadoop与Spark技术培训班 中国信息化培训中心特推出了大数据技术架构及应用实战课程培训班，通过专业的大数据Hadoop与Spark技术架构体系与业界真实案例来全面提升大数据工程师、开发设计人员的工作水平，旨在培养专业的大数据Hadoop与Spark技术架构专家，更好地服务于各个行业 ...
分类：
其他好文 时间：
2016-04-11 22:17:04
阅读次数：
172
当前，大数据的实时计算、分析和可视化是行业大数据应用真正落地的关键。为适应这一需求和趋势，开源组织Apache提出了基于Spark 分析和计算框架，其优点：（1） 性能优越。框架中的Spark技术指内存计算：数据处理仅运行于系统内存中，避免以前的框架系统中的硬盘和内存频繁交换数据的时间消耗。另外，S...
分类：
其他好文 时间：
2015-12-27 19:09:24
阅读次数：
180
问题导读1.在Standalone部署模式下，Spark运行过程中会创建哪些临时性目录及文件?2.在Standalone部署模式下分为几种模式？3.在client模式和cluster模式下有什么不同？概要在Standalone部署模式下，Spark运行过程中会创建哪些临时性目录及文件，这些临时目录和...
分类：
Web程序 时间：
2015-11-20 12:36:34
阅读次数：
243
当触发一个RDD的action后，以count为例，调用关系如下：org.apache.spark.rdd.RDD#countorg.apache.spark.SparkContext#runJoborg.apache.spark.scheduler.DAGScheduler#runJoborg.a...
分类：
其他好文 时间：
2015-10-03 18:16:15
阅读次数：
209
现在各大网站预售中，估计9月底就能到货发售！京东：http://item.jd.com/11770787.html当当：http://product.dangdang.com/23776595.html亚马逊：http://www.amazon.cn/SparkInternals前言和目录附上，以便有需要了解的同学：诞生于2005年的Hadoop解决了大数据的存储和计算问题，已经成为大数据处理的事...
分类：
其他好文 时间：
2015-09-20 10:34:19
阅读次数：
223
前言： 都说现在是草根为尊的时代，近年来hadoop及spark技术在国内越来越流行。而且渐渐现成为企业的新宠。在DT时代全面来临之前，能提早接触大数据的技术必然能先人一步。本文作为Hadoop系列的第一篇，将HDFS和MapRed两个技术核心用2个实例简单实现一些，希望能供hadoop入门的朋友....
分类：
其他好文 时间：
2015-08-07 21:51:27
阅读次数：
152
转自：http://blog.qiniu.com/archives/3928七牛是如何搞定每天500亿条日志的牛小七2015年7月31日发布在 技术分享 7月30日，七牛数据平台工程师王团结在CSDN Spark微信用户群，与近千名Spark技术开发人员，结合七牛内部使用的数据平台，深入分享了团队是...
分类：
其他好文 时间：
2015-08-05 12:22:10
阅读次数：
188
