本文尝试从源码层面梳理Spark在任务调度与资源分配上的做法。 先从Executor和SchedulerBackend说起。Executor是真正执行任务的进程，本身拥有若干cpu和内存，可以执行以线程为单位的计算任务，它是资源管理系统能够给予的最小单位。SchedulerBackend是spark ...
分类：
其他好文 时间：
2016-07-08 15:00:43
阅读次数：
155
1.使用sudo提示用户不在sudoers文件中的解决方法 切换到root用户 su root 切换到root用户 su root 查看/etc/sudoers文件权限，如果只读权限，修改为可写权限 [root@localhost ~]# ll /etc/sudoers [root@localhos ...
分类：
系统相关 时间：
2016-07-08 15:00:04
阅读次数：
168
1.创建项目project django-admin.py startproject myblog 查看目录树 alias tree="find . -print | sed -e 's;[^/]*/;|____;g;s;____|; |;g'" 2.创建应用app 一个工程里可以创建很多个应用ap ...
分类：
其他好文 时间：
2016-07-08 14:58:29
阅读次数：
118
第十章： 1. 可变参数的宏在 C99 规范中新增了可变参数的宏〈并不是所有的 CIC++编译器都支持可变参数宏 ,不过较 高版本的 GCC 支持这-规范〉。可变参数宏与固定参数宏的不同之处就是可变参数宏需要通过 _VA_ARGS_宏获取可变参数宏的可变参数。定义可变参数宏与定义可变参数函数的方法相 ...
分类：
其他好文 时间：
2016-07-08 14:59:43
阅读次数：
137
代码重用分为静态和动态两种。静态重用这种方式是代码级的重用，也就是将需要重用的代码和使用这些代码的使用者放在一起进行编译，最终生成一个可执行文件或程序库。 有很多基于arm处理的linux驱动，最初都是在基于x86的PC上开发和测试的，如果在模拟器或开发板上，采用动态装载.ko文件的方式测试linu ...
分类：
其他好文 时间：
2016-07-08 14:58:11
阅读次数：
154
lib分为 staticlib 和 dynamic lib: lib分为 staticlib 和 dynamic lib: 静态lib将导出声明和实现都放在lib中，编译后所有代码都嵌入到宿主程序, 链接器从静态链接库LIB获取所有被引用函数，并将库同代码一起放到可执行文件中。 动态lib相当于一个 ...
分类：
其他好文 时间：
2016-07-08 14:58:28
阅读次数：
166
上一篇博客介绍了如何使用Theano+logistic regression来实现kaggle上的数字手写识别，文末提到了CPU计算实在太慢，因此在做完这个实验之后，博主查阅了Theano的文档，了解到Theano官方仅支持CUDA进行GPU运算，不支持OpenCL，也就是说Theano官方仅支持N卡。原因是，CUDA和OpenCL是两个GPU计算平台，CUDA仅支持N卡，OpenCL支持所有的显卡...
分类：
系统相关 时间：
2016-07-08 13:52:33
阅读次数：
760
本文带大家一起进行Spark的大数据之旅。本文的内容主要分为两个部分：一是Spark的背景介绍，二是介绍Spark的基础。...
分类：
其他好文 时间：
2016-07-08 13:51:43
阅读次数：
173
前言RxSwift是Swift函数响应式编程的一个开源库，由Github的ReactiveX组织开发，维护。RxSwift的目的是让让数据/事件流和异步任务能够更方便的序列化处理，能够使用Swift进行响应式编程目前，RxSwift在Github上收到了5000+Star，600+fork。本文的目的
介绍RxSwift的核心思想
讲解RxSwift的基础使用
介绍RxSwift的优点
如果你有时间...
分类：
编程语言 时间：
2016-07-08 13:51:51
阅读次数：
3926
这两个函数都在某种程度上体现了函数式编程的思想，即将函数作为传入另一个函数的参数。map()方法的调用者一般是个数组，参数是一个函数，称为callback，返回值是一个由原数组中每个元素执行给定callback函数的返回值组成的新数组。也就是说，当你用map()方法时，是将组成数组中的每个元素作为参数...
分类：
编程语言 时间：
2016-07-08 13:53:23
阅读次数：
146
现在使用NIO的场景越来越多，很多网上的技术框架或多或少的使用NIO技术，譬如Tomcat，Jetty。学习和掌握NIO技术已经不是一个JAVA攻城狮的加分技能，而是一个必备技能。再者，现在互联网的面试中上点level的都会涉及一下NIO或者AIO的问题（AIO下次再讲述，本篇主要讲述NIO）,掌握 ...
分类：
编程语言 时间：
2016-07-08 13:50:57
阅读次数：
238
在使用OpenMediaVault搭建git服务器，ssh总是无法访问，最后找到了原因。 ...
分类：
其他好文 时间：
2016-07-08 13:50:04
阅读次数：
282
SaaS, or Software as a Service, describes any cloud service where consumers are able to access software applications over the internet. The applicatio... ...
分类：
其他好文 时间：
2016-07-08 13:50:33
阅读次数：
177
一个android的httpUtils类 先放这 后面再弄 ...
分类：
移动开发 时间：
2016-07-08 13:49:21
阅读次数：
164
cousera-Andrew NG的机器学习足够入门cs229台湾大学林轩田老师的机器学习基石和机器学习技法结合李航的<<统计学习方法>>和周志航的<<机器学习>> 看完之后看<<机器学习实战>>之后去kaggle打比赛, 再想深了看看pr ...
分类：
系统相关 时间：
2016-07-08 13:51:24
阅读次数：
176
题意：求从1开始的到所有点的最短路。 分析：设图中的两个点u,v， 则dis[u][v] = abs(u-v) 或 dis[u][v] = 1。 其实换个角度想就可以发现每次运动消耗的能量都是1。由于每一单位时间运动消耗的能量都是1。 状态的转移有三个：1、向前走一步。2、先后走一步。3、走捷径。 ...
分类：
其他好文 时间：
2016-07-08 13:49:14
阅读次数：
250
