码迷,mamicode.com
首页 > 2015年07月14日 > 全部分享
【Spark】Spark的Shuffle机制
MapReduce中的Shuffle在MapReduce框架中,shuffle是连接Map和Reduce之间的桥梁,Map的输出要用到Reduce中必须经过shuffle这个环节,shuffle的性能高低直接影响了整个程序的性能和吞吐量。 Shuffle是MapReduce框架中的一个特定的phase,介于Map phase和Reduce phase之间,当Map的输出结果要被Reduce使用时,...
分类:其他好文   时间:2015-07-14 20:30:00    阅读次数:135
【Spark】SparkContext源码解读
SparkContext的初始化SparkContext是应用启动时创建的Spark上下文对象,是进行Spark应用开发的主要接口,是Spark上层应用与底层实现的中转站(SparkContext负责给executors发送task)。 SparkContext在初始化过程中,主要涉及一下内容: SparkEnv DAGScheduler TaskScheduler Sche...
分类:其他好文   时间:2015-07-14 20:29:32    阅读次数:157
Python Idle 无法显示行号(上)
在Idle main shell 中提示错误定位到具体哪一行。可是在Python Idle 环境中是无法显示行号的,这给我们带来了很大问题不更换IDLE对此有如下两种解决方法: 快捷键Atl + G 可以快速定位到指定行 编辑器右下角有显示光标所在行号 更换IDLE详细安装使用 IDLEX 环境在下篇继续谈...
分类:编程语言   时间:2015-07-14 20:29:11    阅读次数:370
模态类型的传值问题
什么是模态? 一旦弹出模态窗口或对话框,如果用户不对其进行操作(如点击确定或取消按钮等),就如法进行其他的操作.   弹出模态窗口的语句:   window.showModelessDialog(sURL[,vArguments][,sFeatures])   1)sURL(必选) 指明模态窗口的URL地址 2)vArguments  传递参数 3)sFeat...
分类:其他好文   时间:2015-07-14 20:29:39    阅读次数:98
Android清单文件详解(二) ---- 应用程序权限声明
我们知道,Android系统的各个模块提供了非常强大的功能(比如电话,电源和设置等),通过使用这些功能,应用程序可以表现的更强大,更灵活。不过,使用这些功能并不是无条件的,而是需要拥有一些权限。接下来,我们就开始讲解另一个非常重要的知识点——应用程序权限声明,其中主要包括应用程序的权限声明,自定义应用程序的访问权限和SDK版本限定。1.——应用程序的权限申请;2.节点——自定义应用程序的访问权限;3.节点——SDK版本限定;4.<...
分类:移动开发   时间:2015-07-14 20:27:22    阅读次数:1946
论文阅读笔记:Fully Convolutional Networks for Semantic Segmentation
【概览&主要贡献】 【问题&解决办法】 如何进行dense prediction 如何refine,得到更好的结果 【结果】...
分类:Web程序   时间:2015-07-14 20:27:00    阅读次数:21480
简单vi配置:YouCompleteMe
下图就是我的VI; 按F5 F6分别调出左右的窗口; 按C-P点出CtrlP搜索,直接查找工程中的文件; 自动补全用的YouCompleteMe,超级强悍; 在.vimrc 中加入以下代码: Bundle ‘Valloric/YouCompleteMe’   保存退出后,打开vim 在命令模式下,输入下面的命令: :BundleIns...
分类:其他好文   时间:2015-07-14 20:29:47    阅读次数:110
Flyweight模式
在开发时,如果创建很多对象,就会造成很大的内存开销,特别是大量轻量级(细粒度)的对象,还会造成内存碎片。Flyweight模式就是运用共享技术,有效支持大量细粒度对象的设计模式。...
分类:其他好文   时间:2015-07-14 20:27:33    阅读次数:106
Android测试环境变量配置表
要修改的文件是~/bash_profile这个配置文件,内容如下: # Setting PATH for Java JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_45.jdk/Contents/Home" CLASS_PATH="$JAVA_HOME/lib" # Setting PATH for Python 3.4 # The ...
分类:移动开发   时间:2015-07-14 20:27:45    阅读次数:159
【Binary Search Tree Iterator 】cpp
题目:Implement an iterator over a binary search tree (BST). Your iterator will be initialized with the root node of a BST.Callingnext()will return the n...
分类:其他好文   时间:2015-07-14 20:26:17    阅读次数:118
BZOJ1007|水平可见直线|模拟
Description在xoy直角坐标平面上有n条直线L1,L2,...Ln,若在y值为正无穷大处往下看,能见到Li的某个子线段,则称Li为可见的,否则Li为被覆盖的.例如,对于直线:L1:y=x; L2:y=-x; L3:y=0则L1和L2是可见的,L3是被覆盖的.给出n条直线,表示成y=Ax+B...
分类:其他好文   时间:2015-07-14 20:24:56    阅读次数:175
android LocalActivityManager说明
类概述Helper class for managing multiple running embedded activities in the same process. This class is not normally used directly, but rather created fo...
分类:移动开发   时间:2015-07-14 20:24:45    阅读次数:349
(转)android中利用 ViewPage 实现滑动屏
最近实现了这样的一个效果:滑动界面出现拖拽效果,可翻动3屏,也可点击按钮翻动页面。主要利用android.support.v4.view.ViewPager控件来实现。第一个界面:滑动屏幕:换到下一屏:布局文件:主界面 main.xml第一屏界面:page01.xml第二屏 ,第三屏与第一屏布局一样...
分类:移动开发   时间:2015-07-14 20:26:35    阅读次数:300
【上海交大oj】邮递员小F(状态压缩dp)(旅行商问题)
1088. 邮递员小FDescription因为制造类专业很难在大城市立足,曾经立志振兴中华之工业的小F,果断在本科毕业后转行做了一名光荣的邮递员。他的任务是每天从总局出发,行走于所管辖区域的若干的邮局,收集所有的信,然后再汇总返回总局。因为工作繁忙,同一个邮局他每天只希望去一次。来往于任意两个邮局...
分类:其他好文   时间:2015-07-14 20:24:24    阅读次数:173
[leedcode 77] Combinations
Given two integersnandk, return all possible combinations ofknumbers out of 1 ...n.For example,Ifn= 4 andk= 2, a solution is:[ [2,4], [3,4], [2,3],...
分类:其他好文   时间:2015-07-14 20:25:31    阅读次数:98
图解Python深拷贝和浅拷贝
Python中,对象的赋值,拷贝(深/浅拷贝)之间是有差异的,如果使用的时候不注意,就可能产生意外的结果。下面本文就通过简单的例子介绍一下这些概念之间的差别。对象赋值直接看一段代码:will = ["Will", 28, ["Python", "C#", "JavaScript"]]wilber =...
分类:编程语言   时间:2015-07-14 20:24:52    阅读次数:171
PhpStrom常用快捷键
Ctrl + Shift + F 指定目录下字符串查找Ctrl + Shift + R 指定目录下字符串替换Ctrl + F 当前文件下字符串查找Ctrl + Shift + R 指定目录下字符串替换Ctrl + ↑/↓ 上一个/下一个方法Ctrl + G 转到指定行Ctrl + D 复制
分类:Web程序   时间:2015-07-14 20:24:42    阅读次数:130
2138条   上一页 1 ... 22 23 24 25 26 27 28 ... 126 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!