码迷,mamicode.com
首页 >  
搜索关键字:mapreduce 实战    ( 20951个结果
shell 脚本实战笔记(3)--集群机器的时间同步设置
背景: 有些分布式服务(比如HBase服务), 依赖于系统时间戳, 如果集群各个节点, 系统时间不一致, 导致服务出现诡异的情况.解决方案: 那如何同步集群各个节点之间的时间? 采用NTP(Network Time Protocol)方式来实现, 选择一台机器, 作为集群的时间同步服务器, 然...
分类:其他好文   时间:2014-06-25 22:59:50    阅读次数:346
一种并行随机梯度下降法
Martin A. Zinkevich 等人(Yahoo!Lab)合作的论文 Parallelized Stochastic Gradient Descent 中给出了一种适合于 MapReduce 的并行随机梯度下降法,并给出了相应的收敛性分析。这里忽略理论部分,根据自己的理解给出文中所提并行随机...
分类:其他好文   时间:2014-06-25 22:06:05    阅读次数:417
一种并行随机梯度下降法
Martin A. Zinkevich 等人(Yahoo!Lab)合作的论文 Parallelized Stochastic Gradient Descent 中给出了一种适合于 MapReduce 的并行随机梯度下降法,并给出了相应的收敛性分析。这里忽略理论部分,根据自己的理解给出文中所提并行随机梯度下降法的描述。...
分类:其他好文   时间:2014-06-24 22:53:45    阅读次数:261
osgi实战学习之路:3. osgi分层概念及相互合作demo
源代码下载 分层: modual: 主要作用于包级管理与共享代码 lifecycle: 主要作用于运行期间的模块管理与访问osgi底层框架 service: 主要作用于多模块之间的相互通信 demo: hello-provider/pom.xml <projec...
分类:其他好文   时间:2014-06-24 22:38:14    阅读次数:256
MapReduce程序依赖的jar包
难得想写个mapreduce程序,发现已经不记得需要添加那些jar包了,网上找了一会也没发现准确的答案。幸好对hadoop体系结构略知一二,迅速试出了写mapreduce程序需要的三个jar包。              不多不少,3个包足矣……贴出来免得其朋友再走弯路      (请忽视包的版本不一致问题,是我从其他项目中东拼西凑过来的)...
分类:其他好文   时间:2014-06-24 21:44:15    阅读次数:321
java实战系列-实战中MAVEN私服的搭建
实战中MAVEN私服的搭建   利用maven来管理项目的构建,报告和文档已经成为了我们现在的共识,任何开源软件基本都在使用,当然我们现在的大部分公司也基本都在使用,我把以前使用maven的一些经验在进行加工呈现给大家,希望可以帮助一些当前正在学习maven的初学者们还有刚毕业的学子们! 我会结合Eclipse+nexus+maven的实践来个大家做介绍! Ne...
分类:编程语言   时间:2014-06-24 20:25:57    阅读次数:438
gradle实战
gradle实战...
分类:其他好文   时间:2014-06-24 20:09:51    阅读次数:185
那位帮忙提供一个java mongodb多个collection进行mapreduce的操作。
那位帮忙提供一个java mongodb多个collection进行mapreduce的操作。代码下载地址:http://www.zuidaima.com/share/1550463227890688.htm...
分类:数据库   时间:2014-06-24 19:51:56    阅读次数:262
shell 脚本实战笔记(4)--linux磁盘分区重新挂载
背景: Hadoop的HDFS文件系统的挂载, 默认指定的文件目录是/mnt/disk{N}. 当运维人员, 不小心把磁盘挂载于其他目录, 比如/mnt/data, /mnt/disk01, /mnt/diska时, HDFS会选择根分区, 当往HDFS里灌数据时, 导致的结果往往是根分区被快速的....
分类:系统相关   时间:2014-06-24 15:05:25    阅读次数:304
Spark
0、参考自http://tech.uc.cn/?p=2116 http://www.csdn.net/article/2013-07-08/2816149 1、Spark是一个高效的分布式计算系统。它基于MapReduce(MR)算法实现分布式计算,但Job的中间输出和结果可以保存在内存,从...
分类:其他好文   时间:2014-06-24 11:32:46    阅读次数:268
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!