码迷,mamicode.com
首页 > 其他好文
Apache Spark源码走读之14 -- Graphx实现剖析
欢迎转载,转载请注明出处,徽沪一郎。概要图的并行化处理一直是一个非常热门的话题,这里头的重点有两个,一是如何将图的算法并行化,二是找到一个合适的并行化处理框架。Spark作为一个非常优秀的并行处理框架,将一些并行化的算法移到其上面就成了一个很自然的事情。Graphx是一些图的常用算法在Spark上的...
分类:其他好文   时间:2014-07-07 14:11:44    阅读次数:391
Interleaving String
Givens1,s2,s3, find whethers3is formed by the interleaving ofs1ands2.For example,Given:s1="aabcc",s2="dbbca",Whens3="aadbbcbcac", return true.Whens3="...
分类:其他好文   时间:2014-07-07 14:12:24    阅读次数:204
Linq分页
1 public IQueryable LoadPageuserInfos(int pageSize, int pageIndex, out int total, 2 Func wherelambda, Func orderbyLambda, bool isasc) 3 ...
分类:其他好文   时间:2014-07-07 14:13:08    阅读次数:188
Apache Spark源码走读之2 -- Job的提交与运行
欢迎转载,转载请注明出处,徽沪一郎。概要本文以wordCount为例,详细说明spark创建和运行job的过程,重点是在进程及线程的创建。实验环境搭建在进行后续操作前,确保下列条件已满足。下载spark binary 0.9.1安装scala安装sbt安装java启动spark-shell单机模式运...
分类:其他好文   时间:2014-07-07 14:14:34    阅读次数:231
关于textbox.attributes["value"]的问题
在“修改”时,出现这个问题,后台点击修改时,应该是文本框出现一些初始值 BLL.manager bll = new BLL.manager(); Model.manager model = bll.GetModel(_id); ddlRoleId.Sele...
分类:其他好文   时间:2014-07-07 14:15:55    阅读次数:342
简明 Vim 练级攻略
你想以最快的速度学习人类史上最好的文本编辑器VIM吗?你先得懂得如何在VIM幸存下来,然后一点一点地学习各种戏法。我建议下面这四个步骤:存活感觉良好觉得更好,更强,更快使用VIM的超能力当你走完这篇文章,你会成为一个vim的 superstar。在开始学习以前,我需要给你一些警告:学习vim在开始时...
分类:其他好文   时间:2014-07-07 14:17:10    阅读次数:224
Apache Spark源码走读之8 -- Spark on Yarn
欢迎转载,转载请注明出处,徽沪一郎。概要Hadoop2中的Yarn是一个分布式计算资源的管理平台,由于其有极好的模型抽象,非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理,集群中计算资源的管理与分配。Yarn为应用程序开发提供了比较好的实现标准,Spark支持Yarn部...
分类:其他好文   时间:2014-07-07 14:18:32    阅读次数:297
Apache Spark源码走读之12 -- Hive on Spark运行环境搭建
欢迎转载,转载请注明出处,徽沪一郎。楔子Hive是基于Hadoop的开源数据仓库工具,提供了类似于SQL的HiveQL语言,使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。Hive的整体框架中有一个重要的模块是执行模块...
分类:其他好文   时间:2014-07-07 14:17:47    阅读次数:295
Apache Spark源码走读之15 -- Standalone部署模式下的容错性分析
欢迎转载,转载请注明出处,徽沪一郎。概要本文就standalone部署方式下的容错性问题做比较细致的分析,主要回答standalone部署方式下的包含哪些主要节点,当某一类节点出现问题时,系统是如何处理的。Standalone部署的节点组成介绍Spark的资料中对于RDD这个概念涉及的比较多,但对于...
分类:其他好文   时间:2014-07-07 14:19:57    阅读次数:274
Apache Spark源码走读之3 -- Task运行期之函数调用关系分析
欢迎转载,转载请注明出处,徽沪一郎。概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的,另外试图讲清楚运行着的task其输入的数据从哪获取,处理的结果返回到哪里,如何返回。准备spark已经安装完毕spark运行在local mode或local-cluster mod...
分类:其他好文   时间:2014-07-07 14:20:42    阅读次数:267
stringstream vs sprintf, sscanf.
开端以前一直认为 stringstream 远不如 sprintf.近日突然萌发了看看 stirngstream 是不是真的如我想的那么烂正文咱们来看看对比.// stringstream.stringstream sstream;sstream > num; // 字符串转数字....
分类:其他好文   时间:2014-07-07 14:21:21    阅读次数:199
OA系统权限管理设计(转载)
不论什么系统都离不开权限的管理,有一个好的权限管理模块,不仅使我们的系统操作自如,管理方便,也为系统加入亮点。l不同职责的人员,对于系统操作的权限应该是不同的。优秀的业务系统,这是最主要的功能。l能够对“组”进行权限分配。对于一个大企业的业务系统来说,假设要求管理员为其下员工逐一分配系统操作权限的话...
分类:其他好文   时间:2014-07-07 14:21:59    阅读次数:204
Unix awk使用手册
Unix awk使用手册(第二版)池中龙作者的话:《UNIX AWK使用手册》是我几个月前的作品了,回过头来看,这篇文章实在是很粗燥,因当时我写作并上传这个作品时实在是太忙了,没有对文章的质量进行很好的检查,心里老觉得有愧于网友的厚爱,于是趁闲赶忙重写一遍,虽然不一定会有很大的改观,但质量是肯定要好...
分类:其他好文   时间:2014-07-07 14:23:11    阅读次数:215
Leetcode Spiral Matrix
Given a matrix ofmxnelements (mrows,ncolumns), return all elements of the matrix in spiral order.For example,Given the following matrix:[ [ 1, 2, 3 ],...
分类:其他好文   时间:2014-07-07 14:22:37    阅读次数:210
Apache Spark源码走读之10 -- 在YARN上运行SparkPi
y欢迎转载,转载请注明出处,徽沪一郎。概要“spark已经比较头痛了,还要将其运行在yarn上,yarn是什么,我一点概念都没有哎,再怎么办啊。不要跟我讲什么原理了,能不能直接告诉我怎么将spark在yarn上面跑起来,I'm a dummy, just told me how to do it.”...
分类:其他好文   时间:2014-07-07 14:23:52    阅读次数:278
CentOS安装Prolog和Erlang语言
安装Erlang比较简单下载Erlang的压缩包输入tar -zxvf 压缩包 解压进入解压的目录下 输入./configure在./configure执行完成后,输入make然后输入make install即可完成运行时输入erl即可进入交互命令行模式Prolog我安装的是Swing-Prolog...
分类:其他好文   时间:2014-07-07 14:25:21    阅读次数:206
poj1990 树状数组
1990题意:每头牛有两个属性v,x,计算sigma(max(v[i],v[j])*abs(x[i]-x[j]))1=x[j] +sigma(v[j]*(x[j]-x[i])) x[i]=x[j]其中dist.sum(maxn)-dist.sum(x[i]) 就是坐标在[x[i],maxn]...
分类:其他好文   时间:2014-07-07 14:26:47    阅读次数:292
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!