“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂
【第17期互动问答分享】Q1:为了加快sparkshuffle的执行速度是否可以把spark_local_dirs指向一块固态硬盘上面,这样做是否有效果。可以把spark_local_dirs指向一块固态硬盘上面,这样会非常有效的提升Spark执行速度;同..
分类:
其他好文 时间:
2014-10-17 19:00:33
阅读次数:
178
“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第17期互动问答分享】 ? Q1:为了加快spark?shuffle?的执行速度是否可以把spark_local_dirs?指向一块固态硬盘上面,这样做是否有效果。 可以把...
分类:
其他好文 时间:
2014-10-17 17:02:15
阅读次数:
154
如果服务器crash了或者就hang住了,我们不必要跑到机房去按电源键的,因为我们也想“运筹帷幄之中,决胜千里之外”嘛。我们可以用IPMI,它可以让我们远程用一条命令开启(关闭、重启)一台服务器,也可以检查服务器的状态。IPMI简介:from wikipediaTheIntelligent Plat...
分类:
其他好文 时间:
2014-10-11 00:06:16
阅读次数:
551
“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第15期互动问答分享】 ? Q1:AppClient和worker、master之间的关系是什么? :AppClient是在StandAlone模式下SparkContext.runJob的时候在Client机器...
分类:
其他好文 时间:
2014-10-08 23:23:57
阅读次数:
335
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第15期互动问答分享】Q1:AppClient和worker、master之间的关系是什么?:AppClient是在StandAlone模式下SparkContext.runJob的时候在Client机器上应用程序的代表,要完成程序的registerApplication等功能;当程序完成..
分类:
其他好文 时间:
2014-10-08 17:59:06
阅读次数:
166
“决胜云计算大数据时代”
Spark亚太研究院100期公益大讲堂 【第15期互动问答分享】
Q1:AppClient和worker、master之间的关系是什么?
AppClient是在StandAlone模式下SparkContext.runJob的时候...
分类:
其他好文 时间:
2014-10-08 16:47:15
阅读次数:
212
Spark亚太研究院决胜大数据时代公益大讲坛第五期:SparkSQL架构和案例深入实战,视频地址:http://pan.baidu.com/share/link?shareid=3629554384&uk=4013289088&fid=977951266414309王家林老师(邮箱:18610086...
分类:
数据库 时间:
2014-10-05 00:48:27
阅读次数:
713
第2期Spark亚太研究院决胜云计算大数据时代:100期Spark公益大讲堂之Shark、SparkSQL,视频地址:http://pan.baidu.com/share/link?shareid=3629554384&uk=4013289088&fid=277083257568965王家林老师(邮...
分类:
数据库 时间:
2014-10-04 23:51:27
阅读次数:
323
赌徒都相信“初学者总是有运气”的。几乎所有的赌徒都认为“虽然后来运气会慢慢变差,但是刚开始赌的时候总是很走运的”。抛开职业赌场,庄家放长线吊大鱼的不算。就算在股市上也经常有这种案例,新人入行的时候,运气都特别的好。是否真有新手运气这一回事呢?...
分类:
其他好文 时间:
2014-10-01 23:19:22
阅读次数:
585
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂 【第13期互动问答分享】Q1:tachyon+spark框架现在有很多大公司在使用吧? Yahoo!已经在长期大规模使用; 国内也有公司在使用;Q2:impala和spark sql如何选择呢? Impala已经被官方宣布“安乐死”,被...
分类:
其他好文 时间:
2014-09-28 13:04:02
阅读次数:
267