MapReduce: 概念:MapReduce主要是分布式编程的一个编程模型 优势: 1、允许我们处理输入输出的限制 2、他是个无共享架构,每个节点可以并行处理该节点上的数据, 无需包含其他节点的运行情况 3、他能高效处理可能因为硬件问题造成的各种执行故障 4、数据局部性,就是说代码找到数据所在节点 ...
分类:
其他好文 时间:
2016-05-22 20:01:39
阅读次数:
138
0、新建 http://wiki.jikexueyuan.com/project/github-basics/creat-new-repo.html1、配置信息。(本地)git config –global user.name “erlinux”git config –global user.ema ...
分类:
其他好文 时间:
2016-05-22 20:02:46
阅读次数:
170
本周主要是编写“找水王”的程序,以及继续完成团队项目。 ...
分类:
其他好文 时间:
2016-05-22 20:01:07
阅读次数:
111
本节的主要内容: 一、ReceiverTracker的架构设计 二、消息循环系统 三、ReceiverTracker具体实现 Spark Streaming作为Spark Core基础 架构之上的一个应用程序,其中的ReceiverTracker接收到数据之后,具体该怎么进行数据处理呢?看源码Rec ...
分类:
其他好文 时间:
2016-05-22 20:02:22
阅读次数:
346
这学期学习邹欣老师的《构建之法:现代软件工程》一书收获颇多。 第一章 概论 软件 = 程序 + 软件工程 软件工程是把系统的、有序的、可量化的方法应用到软件的开发、运营和维护上的过程。软件工程包括:软件求分析、软件设计、软件构建、软件测试和软件维护。软件的特殊性:复杂性、不可见性、易变性、服从性、非 ...
分类:
其他好文 时间:
2016-05-22 19:59:57
阅读次数:
121
并查集是一种树形的数据结构,用来处理不相交的集合的合并和查询。原理是:先开辟一个和数据大小相等的数组a,数组数据初始化为-1,当数据x1,x2同属一个集合,将数组a[x2]加到a[x1]上,并将x1赋给a[x2],这样,如果检查的时候数组的值小于0,则为根节点,并且这个值的绝对值为这个集合元素的个数 ...
分类:
其他好文 时间:
2016-05-22 20:01:21
阅读次数:
117
IPFW和IPF 一、IPFW IPFW意思可以理解为ip防火墙,主要作用是拦截设定规则外的ip包。你可以把这个理解为linux下的iptables,但是,ipfw要比iptables简单易用。 freebsd系统默认是不安装ipfw或者ipf的,你需要在内核配置文件中启用并重新编译内核。所以,你需 ...
分类:
其他好文 时间:
2016-05-22 19:59:25
阅读次数:
164
引子 在上一章,讲过bp神经网络虽然取得了很大的进步,但它本身存在着一些无法避免的问题,其中一个比较困惑的应该是局部最优解问题。 只接触那些你已经喜欢的东西是有风险的,即你可能会卷入一个以自我为中心的漩涡,从而对任何与你的标准存在细微差异的事情都视而不见,即使你原本会喜欢它。这种现象被称为“过滤器泡 ...
分类:
其他好文 时间:
2016-05-22 19:59:39
阅读次数:
183
前面一节讲过,Vladimir Vapnik的出现,在神经网络的发展过程中起到了很关键的作用,而这种所谓的作用就是挑战。Vladimir Vapnik到底提出了什么理论能有这么大的影响呢?大家都非常熟悉的分类方法:支持向量机(SVM)Vladimir Vapnik 支持向量机(SVM) Vapnik ...
分类:
其他好文 时间:
2016-05-22 19:58:38
阅读次数:
169
@Override是伪代码,表示重写(不写也可以,但是有些IDE会报warning),不过写上有如下好处: 1、可以当注释用,方便阅读;2、编译器可以给你验证@Override下面的方法名是否是你父类中所有的,如果没有则报错。例如,你如果没写@Override,而你下面的方法名又写错了,这时你的编译 ...
分类:
其他好文 时间:
2016-05-22 20:00:46
阅读次数:
127
系统优化及安全设置 上次说了FreeBSD基本的软件安装和配置,接下来会说系统的详细配置和安全性设置 一、系统优化设置 1.网络相关设置 网卡和IP地址设置: 如果在安装时没有设置IP地址,那么就需要进入系统后设置,过程如下。 #cd /etc #vi rc.conf 找到ifconfig_网卡名写 ...
分类:
其他好文 时间:
2016-05-22 20:00:57
阅读次数:
133
物理地址空间:硬件支持的地址空间。 逻辑地址空间:在CPU运行的进程看到的地址。 一、连续内存分配: 1.匹配策略: 最先匹配策略:空闲分区列表按地址顺序排序,遇到第一个大于所需空间的空闲分区就分配。 最佳匹配策略: 空闲分区列表按从小到大排序,遇到第一个大于所需空间的空闲分区就分配(即大于所需空间 ...
分类:
其他好文 时间:
2016-05-22 19:57:42
阅读次数:
168
查看本机ip 输入 ifconfig -a查看 vsftp配置ftp服务 vsftp安装篇 代码如下 安装oracle前安装所需包,可以从安装光盘或者联网从互联网镜像服务器自动下载安装 最后还需要安装libXp这个Library,这个一定要安装,否则安装Oracle时会出现Java Exceptio ...
分类:
其他好文 时间:
2016-05-22 19:58:36
阅读次数:
186
对于计算机相关专业的学生来说,我们学习了很多的专业课程,像编程语言、算法、数据结构、编译原理、软件工程等。很多学生都会有这样的疑问:我学了这么多的课程有什么用呢?在工作中有多少会真正被应用到呢?也就是说,大家都觉得理论和实践之间有着不可逾越的鸿沟。邹欣老师的《构建之法:现代软件工程》一书很好地,并且 ...
分类:
其他好文 时间:
2016-05-22 19:55:59
阅读次数:
142