码迷,mamicode.com
首页 > 其他好文 > 详细

【互动问答分享】第8期决胜云计算大数据时代Spark亚太研究院公益大讲堂

时间:2014-08-21 13:04:34      阅读:214      评论:0      收藏:0      [点我收藏+]

标签:style   http   使用   os   strong   数据   ar   代码   

“决胜云计算大数据时代”

         Spark亚太研究院100期公益大讲堂 【第8期互动问答分享】

 

Q1:spark线上用什么版本好?

        建议从最低使用的Spark 1.0.0版本,Spark在1.0.0开始核心API已经稳定;

        从功能的角度考虑使用最新版本的Spark 1.0.2也是非常好的,Spark 1.0.2在Spark 1.0.1的基础上做了非常多的改进;

        Spark 1.0.2改进参考 http://spark.apache.org/releases/spark-release-1-0-2.html

 

Q2:希望可以细细讲讲推荐系统

        推荐系统是机器学习中主要用武之地,Spark亚太研究院决胜大数据时代100期公益大讲堂后续会至少开设三期专题细细讲解;

 

Q3:用yarn  mesos  standalone   这几种方式那种用在线上好?spark线上用什么版本好?

        如果以前没有部署过其它的大数据集群,集群中的计算框架只有Spark,建议直接使用Standalone,简洁而高效,这样有利于获得最大化的集群执行效率;

        如果集群中在运行Spark计算平台的同时还运行了Hadoop的MapReduce、Storm等其它框架,建议使用mesos或者yarn;

        在中国建议使用Yarn,因为淘宝已经在生产环境下大规模的使用了Yarn,同时Yarn有非常的中文资料;

 

Q4:机器学习是不是需要很深的数学功底 还是别人实现了 能运行跑起来就ok啦??

         Spark的MLLib极大的简化了机器学习库的使用,如果只是简单的使用,不要数学功底,只需要按照官方的示例直接使用即可。

         如果进行复制的算法实现,需要数学功底,例如线性代数、统计学等

 

Q5:还是要深入学习机器学习的那些算法?

         从实际应用的角度考虑,最重要的机器学习算法时协同过滤,基于协同过滤的推荐系统在应用系统中有广泛的应用,需要最为第一重点掌握;

         分类、聚类、线性回归等也是非常常用而重要的;

 

Q6:请教下,如果目前应用主要是结构化数据的ORCALE,语言是PLSQL,转换到SPARKSQL是否难度很大,需要完全代码重写呢?

         在实际生产环境下,数据和大数据系统是并行存在的,数据库一般直接负责线上交互,大数据系统负责数据分析、实时流处理、交互式查询等;

         如果熟练使用PLSQL,可以轻而易举的掌握Spark SQL

         Spark SQL的内容可以参考http://edu.51cto.com/lesson/id-33429.html

 

【互动问答分享】第8期决胜云计算大数据时代Spark亚太研究院公益大讲堂,布布扣,bubuko.com

【互动问答分享】第8期决胜云计算大数据时代Spark亚太研究院公益大讲堂

标签:style   http   使用   os   strong   数据   ar   代码   

原文地址:http://www.cnblogs.com/spark-china/p/3926686.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!