图的并行化处理一直是一个非常热门的话题，这里头的重点有两个，一是如何将图的算法并行化，二是找到一个合适的并行化处理框架。Spark作为一个非常优秀的并行处理框架，将一些并行化的算法移到其上面就成了一个很自然的事情。Graphx是一些常见图算法在Spark上的并行化实现，同时提供了丰富的API接口。本...
分类：
其他好文 时间：
2014-06-12 21:33:34
阅读次数：
427
今天刚刚开始看正则表达式就遇到一个十分头疼的问题，原文是这样的：“不幸的是，很多单词里包含hi这两个连续的字符，比如him,history,high等等。用hi来查找的话，这里边的hi也会被找出来。如果要精确地查找hi这个单词的话，我们应该使用\bhi\b。\b是正则表达式规定的一个特殊代码（好吧，...
分类：
其他好文 时间：
2014-06-12 19:11:47
阅读次数：
271
Spark生态圈，也就是BDAS（伯克利数据分析栈），是伯克利APMLab实验室精心打造的，力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成，来展现大数据应用的一个平台，其核心引擎就是Spark，其计算基础是弹性分布式数据集，也就是RDD。通过Spark生态圈，AMPLab运用大数据、云计算、通信等各种资源，以及各种灵活的技术方案，对海量不透明的数...
分类：
其他好文 时间：
2014-06-11 06:59:31
阅读次数：
288
共享内存区是可用IPC形式中最快的。一旦内存区映射到共享它的进程的地址空间，进程间数据的传递就不再涉及内核。然而往该共享内存区存放信息或从中取走信息的进程间通常需要某种形式的同步。不再涉及内核是指：进程不再通过执行任何进入内核的系统调用来彼此传递数据。内核必须建立允许各个进程共享该内存区的内存映射关系，然后一直管理内存区。
默认情况下通过fork派生的子进程并不与其父进程共享内存区。
mmap...
分类：
系统相关 时间：
2014-06-11 06:34:25
阅读次数：
439
ls目录文件uname现实当前系统信息clear清理history历史记录ctrl+R搜索历史记录ESC按完之后按.补齐上次参数切换root用户su-使用管理员权限运行命令sudo现实当前用户信息id修改当前用户密码passwd命令+&在后台运行进程jobs查看后台作业ctrl+Z暂停某个程序bg控制进程继续在后..
分类：
系统相关 时间：
2014-06-10 22:56:07
阅读次数：
384
1：Spark1.0.0属性配置方式
Spark属性提供了大部分应用程序的控制项，并且可以单独为每个应用程序进行配置。
在Spark1.0.0提供了3种方式的属性配置：
SparkConf方式
SparkConf方式可以直接将属性值传递到SparkContext；SparkConf可以对某些通用属性直接配置，如master使用setMaster，...
分类：
其他好文 时间：
2014-06-10 14:47:43
阅读次数：
280
如果，在开发中，（Eclipse）删除了一些文件后又发现需要这些文件该怎么办？1.
只要在项目上----鼠标右键点击项目名，选择Restore from Local history。 选择需要恢复的文件，即可恢复所需要的文件。2.
同样，在Java文件中也可以恢复删除的部分。 在类中做出修...
分类：
系统相关 时间：
2014-06-10 10:00:52
阅读次数：
214
前言折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。有不明白Spark的原理的话，有另外一位大牛已经写了一个系列的Spark的源码分析了，大家可以去参考他的，他的过程图画得非常好，他写过的我可能就不写了，实在没办法比人家写得更好。下面给出他的地址：
http:...
分类：
其他好文 时间：
2014-06-09 13:25:12
阅读次数：
439
Problem Description
Ignatius is so lucky that he met a Martian yesterday. But he didn't know the language the Martians use. The Martian gives him a history book of Mars and a dictionary when it leave...
分类：
其他好文 时间：
2014-06-08 03:55:37
阅读次数：
273
