在迁移相关的spark程序到yarn的过程中间,对有些地方的配置进行了调整和优化, 总结起来,常用的一些设置如下:
1. spark.serializer 对象的序列化设置可以设置成spark的序列化类型,相对比较高效和紧凑,网络传输性能比较好
2. spark.kryoserializer.buffer.mb 用来设置对象序列化占用空间大小,当对象比较大的时候需要设置这个选项
3. spa...
分类:
其他好文 时间:
2015-06-26 11:03:05
阅读次数:
6192
最近做项目时用到了iframe嵌入框架,iframe嵌入了一个第三方页面,这个页面的内容不可能自己修改,所以之前的所有操作都会嵌入到iframe中,这样不是我想要的。后来在网上搜了下,得到了一个解决办法,记录如下:
<iframe id="auth_login" name="auth_login" class="iframestyle" allowtransparency="tru...
分类:
其他好文 时间:
2015-06-26 11:02:18
阅读次数:
105
本文简洁详细的说明了建模中的概念与语言实现的关系(以C++为例),使得作为有一定基础的入门读者可以,尤其是有编程经验的读者很容易使用一种建模工具。...
分类:
编程语言 时间:
2015-06-26 11:00:58
阅读次数:
128
这些都是很基础的题,建议还是自己动手编写,有什么问题,上贴讨论,不管学习C/C++,还是java,都要踏实别浮躁,当年自己找工作的时候,那种很水的感觉不好玩,会各种被面试官鄙视;在这里找了当年看过的书籍,分享给大家,是关于C++的,希望对大家有好处,http://blog.csdn.net/gggg_ggg/article/details/44015409...
分类:
编程语言 时间:
2015-06-26 10:59:40
阅读次数:
137
在Windows2003中配置ssh服务
在vm里成功做了一个ssh服务器,以下对这个过程做个总结。
步骤一:
在vm win2k3里安装cygwin环境,虚拟机上不了外网,所以就在我的工作机上下载了一个cygwin的安装包,完整的,640M。
把这个包拷贝到虚拟机里面,完全安装,
安装的中间出现很奇怪的进度显示,如下所示。
安装了很长时间,至少有1h,完成之后,双...
我将为大家介绍一个可以弹钢琴的网页服务器。你只需要打开网页,跟着下面步骤,用这个WIZwiki-W7500项目,就能轻松实现用网页服务器弹钢琴。...
分类:
Web程序 时间:
2015-06-26 10:59:18
阅读次数:
127
下列代码实现的是单链表的按序插入、链表元素的删除、链表的输出...
分类:
编程语言 时间:
2015-06-26 11:01:26
阅读次数:
120
WindowManager.LayoutParams 是 WindowManager 接口的嵌套类;继承于 ViewGroup.LayoutParams 。
它的内容十分丰富。其实WindowManager.java的主要内容就是由这个类定义构成。下面来分析一下这个类:
定义
public static class WindowManager.LayoutPara...
分类:
移动开发 时间:
2015-06-26 10:58:57
阅读次数:
200
1.系统提供的dispatch方法
为了方便的使用GCD,苹果提供了一些方法方便我们将BLOCK放在主线程或者后台程序执行,或者延后执行。
//后台执行:
dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0), ^{
//something
});
...
分类:
其他好文 时间:
2015-06-26 10:59:54
阅读次数:
114
要想使用隐式 Intent 成功启动 Activity, 必须保证 Intent 中 action、category、data 的设置和要启动的 Activity 的 IntentFilter 相匹配。...
分类:
其他好文 时间:
2015-06-26 11:00:43
阅读次数:
95
业界新闻1)如何评价美团外卖商家版强杀竞争对手的商家版 App 进程?一段代码引发的关于不正当竞争的讨论。2)Swift正在蚕食Objective-C的市场关于Objective-C市场份额萎缩的更详尽的报道。3)苹果真贴心,更新iOS 9不用担心空间不够尽管iOS 9的升级空间从4.6GB降至现在的1.3GB,依然有不少低存储空间的设备会有安装空间不够的问题。...
分类:
移动开发 时间:
2015-06-26 11:00:54
阅读次数:
164
这个错误与前面遇到的ORA-16014 有点类似,也是导数过程中突然停下来,没反应,但硬盘读得厉害,最后强制停止,再打开数据库出现如下提示:ORA-00257: archiver error. Connect internal only, until freed在网上搜索得知,上述错误是由于归档日志...
分类:
其他好文 时间:
2015-06-26 10:57:29
阅读次数:
151
多线程 :多执行路径的方法。多线程来达到同样的问题,当多个执行代码,来说会减少。 创建线程有两个方法 方法1.将类声明为Thread的子类。该子类重写Thread类的run方法。 即...
分类:
编程语言 时间:
2015-06-26 11:00:08
阅读次数:
90
http://www.voip-info.org/wiki/view/Open+Source+VOIP+Softwarehttp://blog.csdn.net/xuyunzhang/article/details/26859341SIP ProxiesMini-SIP-ProxyA very ti...
分类:
其他好文 时间:
2015-06-26 10:59:08
阅读次数:
130
javaBean的代码 package bean; import java.io.Serializable; public class Admin implements Serializable{ /** * */private static final long serialVersionUID ...
分类:
编程语言 时间:
2015-06-26 10:59:19
阅读次数:
190
控制反转(Inversionof Control,Ioc),也被称为依赖注入(Dependency Injection,DI),是面向对象的一种设计理念,用来降低程序代码之间的耦合度。 首先要考虑什么是依赖。依赖,在代码中一般是指通过局部变量、方法参数、返回值等建立的对于其他对象的调用关系。例...
分类:
编程语言 时间:
2015-06-26 10:56:25
阅读次数:
149
先贴上代码,以后再慢慢分析。 1 #include 2 3 #define MAXSIZE 6000 4 typedef struct List{ 5 int r[MAXSIZE]; 6 int length; 7 }SqList; 8 9 void swap(S...
分类:
编程语言 时间:
2015-06-26 10:57:43
阅读次数:
111