码迷,mamicode.com
首页 >  
搜索关键字:spark job    ( 11541个结果
秋季面试准备(1)——atoi的实现以及C++库函数stringstream
记得去年9月28日赶到交大去听july的算法面试讲座,他给我们出的第一个题目就是用代码实现atoi,限时10mins。由于当时很久没接触编程,当堂没写出来。记得当时讲解的时候就是要我们特别注意边界条件。写程序就像砌围墙,得先把边界条件弄好。转眼一年过去了,再过几个月就要出去hunting job.....
分类:编程语言   时间:2014-07-07 10:05:41    阅读次数:279
微软职位内部推荐-Senior Engineering Lead
微软近期Open的职位:Job Title: Senior Engineering LeadDivision: Microsoft Business SolutionWork Location: Shanghai, ChinaThe Opportunity:Do you want to play a...
分类:其他好文   时间:2014-07-07 08:09:56    阅读次数:340
SSIS Error Code DTS_E_OLEDB_NOPROVIDER_64BIT_ERROR
将一批Job从一台agent服务器搬到另外一台agent, 没有做任何的修改,但是job执行的时候报错。1 Error: 2014-07-03 14:42:57.142 Code: 0xC02093033 Source: ReliabilityRS2008 Connection mana...
分类:数据库   时间:2014-07-06 23:23:24    阅读次数:353
Learn ZYNQ (9)
创建zybo cluster的spark集群(计算层面): 1.每个节点都是同样的filesystem,mac地址冲突,故: vi ./etc/profile export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/b...
分类:其他好文   时间:2014-07-05 17:29:31    阅读次数:549
Windows下基于eclipse的Spark应用开发环境搭建
原创文章,转载请注明: 转载自www.cnblogs.com/tovin/p/3822985.html一、软件下载 maven下载安装 :http://10.100.209.243/share/soft/apache-maven-3.2.1-bin.zip jdk下载安装: http://...
分类:Windows程序   时间:2014-07-05 17:08:25    阅读次数:362
十分钟了解分布式计算:GraphX
GraphX是Spark中用于图和图并行计算的API,可以认为是GraphLab(C++)和Pregel(C++)在Spark(Scala)上的重写及优化,跟其他分布式图计算框架相比,GraphX最大的贡献是,在Spark之上提供一栈式数据解决方案,可以方便且高效地完成图计算的一整套流水作业。
分类:其他好文   时间:2014-07-05 16:50:56    阅读次数:210
领域驱动模型和以数据为中心模型的一些思考
假设有如下业务逻辑:我要搬到新地方去工作。 代码1:class Player{public: void setAddr(string name); void setJob(string job);private: string _name; string _job;}代码2:class Pl...
分类:其他好文   时间:2014-07-03 20:56:55    阅读次数:232
Spark on Yarn部署
Spark on Yarn 集群部署...
分类:其他好文   时间:2014-07-03 18:26:02    阅读次数:264
Spark SQL 初探
早在Spark Submit 2013里就有介绍到Spark SQL,不过更多的是介绍Catalyst查询优化框架。经过一年的开发,在今年Spark Submit 2014上,Databricks宣布放弃Shark 的开发,而转投Spark SQL,理由是Shark继承了Hive太多,优化出现了瓶颈,如图:          今天把Spark最新的代码签了下来,测试了一下: 1、编译Spar...
分类:数据库   时间:2014-07-03 16:06:04    阅读次数:534
Spark源码系列(五)RDD是如何被分布式缓存?
这一章想讲一下Spark的缓存是如何实现的。这个persist方法是在RDD里面的,所以我们直接打开RDD这个类。 def persist(newLevel: StorageLevel): this.type = { // StorageLevel不能随意更改 if (storageL...
分类:其他好文   时间:2014-07-03 12:53:15    阅读次数:314
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!