背景: 有些分布式服务(比如HBase服务), 依赖于系统时间戳, 如果集群各个节点, 系统时间不一致, 导致服务出现诡异的情况.解决方案: 那如何同步集群各个节点之间的时间? 采用NTP(Network Time Protocol)方式来实现, 选择一台机器, 作为集群的时间同步服务器, 然...
分类:
其他好文 时间:
2014-06-25 22:59:50
阅读次数:
346
Martin A. Zinkevich 等人(Yahoo!Lab)合作的论文 Parallelized Stochastic Gradient Descent 中给出了一种适合于 MapReduce 的并行随机梯度下降法,并给出了相应的收敛性分析。这里忽略理论部分,根据自己的理解给出文中所提并行随机...
分类:
其他好文 时间:
2014-06-25 22:06:05
阅读次数:
417
Martin A. Zinkevich 等人(Yahoo!Lab)合作的论文 Parallelized Stochastic Gradient Descent 中给出了一种适合于 MapReduce 的并行随机梯度下降法,并给出了相应的收敛性分析。这里忽略理论部分,根据自己的理解给出文中所提并行随机梯度下降法的描述。...
分类:
其他好文 时间:
2014-06-24 22:53:45
阅读次数:
261
源代码下载
分层:
modual:
主要作用于包级管理与共享代码
lifecycle:
主要作用于运行期间的模块管理与访问osgi底层框架
service:
主要作用于多模块之间的相互通信
demo:
hello-provider/pom.xml
<projec...
分类:
其他好文 时间:
2014-06-24 22:38:14
阅读次数:
256
难得想写个mapreduce程序,发现已经不记得需要添加那些jar包了,网上找了一会也没发现准确的答案。幸好对hadoop体系结构略知一二,迅速试出了写mapreduce程序需要的三个jar包。
不多不少,3个包足矣……贴出来免得其朋友再走弯路
(请忽视包的版本不一致问题,是我从其他项目中东拼西凑过来的)...
分类:
其他好文 时间:
2014-06-24 21:44:15
阅读次数:
321
实战中MAVEN私服的搭建
利用maven来管理项目的构建,报告和文档已经成为了我们现在的共识,任何开源软件基本都在使用,当然我们现在的大部分公司也基本都在使用,我把以前使用maven的一些经验在进行加工呈现给大家,希望可以帮助一些当前正在学习maven的初学者们还有刚毕业的学子们!
我会结合Eclipse+nexus+maven的实践来个大家做介绍!
Ne...
分类:
编程语言 时间:
2014-06-24 20:25:57
阅读次数:
438
那位帮忙提供一个java mongodb多个collection进行mapreduce的操作。代码下载地址:http://www.zuidaima.com/share/1550463227890688.htm...
分类:
数据库 时间:
2014-06-24 19:51:56
阅读次数:
262
背景: Hadoop的HDFS文件系统的挂载, 默认指定的文件目录是/mnt/disk{N}. 当运维人员, 不小心把磁盘挂载于其他目录, 比如/mnt/data, /mnt/disk01, /mnt/diska时, HDFS会选择根分区, 当往HDFS里灌数据时, 导致的结果往往是根分区被快速的....
分类:
系统相关 时间:
2014-06-24 15:05:25
阅读次数:
304
0、参考自http://tech.uc.cn/?p=2116 http://www.csdn.net/article/2013-07-08/2816149 1、Spark是一个高效的分布式计算系统。它基于MapReduce(MR)算法实现分布式计算,但Job的中间输出和结果可以保存在内存,从...
分类:
其他好文 时间:
2014-06-24 11:32:46
阅读次数:
268