码迷,mamicode.com
首页 >  
搜索关键字:mapreduce 实战    ( 20951个结果
[Cacti] mongodb性能监控实战
前言:         为了更好的使用mongodb,需要监控出mongodb的一些基础使用情况,比如Flush数、连接数、内存使用率、Index操作,Slave延迟等等,这些可以通过配置cacti监控mongodb的模板来完成。 1,在cacti界面导入模板在计算机本地,下载此tgz包:http://mysql-cacti-templates.googlecode.com/files/bette...
分类:数据库   时间:2014-10-05 21:52:29    阅读次数:211
python 实战
用Python写一个真正的Web App!目标我们设定的实战目标是一个Blog网站,包含日志、用户和评论3大部分。比如webpy.org上就提供了一个Blog的例子,目测也就100行代码。我们要写出用户真正看得上眼的页面,首页长得像这样:评论区:还有极其强大的后台管理页面:项目名称必须是高端大气上档...
分类:编程语言   时间:2014-10-05 20:03:58    阅读次数:253
PMP项目管理学习笔记前言——为啥要取得认证?
(一)为啥要取得认证? 如果你参与过很多项目,就会发现,你总是在周而复始地面对同样的一些问题。一些常见的问题目前已经有了通用解决方案。经过多年的实战,项目经理已们已经掌握了很多应验教训,而通过PMP(项目管理专业人士资格认证-Project Management Professional)考试则是....
分类:其他好文   时间:2014-10-05 01:18:47    阅读次数:323
spark视频-Spark SQL架构和案例深入实战
Spark亚太研究院决胜大数据时代公益大讲坛第五期:SparkSQL架构和案例深入实战,视频地址:http://pan.baidu.com/share/link?shareid=3629554384&uk=4013289088&fid=977951266414309王家林老师(邮箱:18610086...
分类:数据库   时间:2014-10-05 00:48:27    阅读次数:713
MapReduce数据连接
对于不同文件里的数据,有时候有相应关系,须要进行连接(join),获得一个新的文件以便进行分析。比方有两个输入文件a.txt,b.txt,当中的数据格式分别例如以下1 a2 b3 c4 d1 good2 bad3 ok4 hello须要将其连接成一个新的例如以下的文件:a goodb badc ok...
分类:其他好文   时间:2014-10-04 23:27:37    阅读次数:251
MapReduce 编程 系列十二 用Hadoop Streaming技术集成newLISP脚本
本文环境和之前的Hadoop 1.x不同,是在Hadoop 2.x环境下测试。newLISP脚本,在stdin中读取数...
分类:其他好文   时间:2014-10-04 22:24:07    阅读次数:183
MapReduce 编程 系列十二 Reduce阶段内部细节和调节参数
Reduce计算分为若干阶段1. copy(或者叫shuffle)阶段和merge阶段并行之前Map产生的结果被存放在本地磁盘上,这时需要从reduce节点将数据从map节点复制过来。放得下进内存,比较大的则写到本地磁盘。同时,有两个线程对已经获得的内存中和磁盘上的数据进行merge操作。具体细节是:通过RPC调用询问task tracker已经完成的map task列表,shuffle(洗牌)是...
分类:其他好文   时间:2014-10-04 15:41:56    阅读次数:240
《机器学习实战》菜鸟学习笔记(三)决策树
老规矩,Talk is cheap, show me your code.#-*-coding:utf-8-*-from math import logdef calcShannonEnt(datsSet): #长度 numEntries = len(dataSet) #字典统计 ...
分类:其他好文   时间:2014-10-04 14:58:46    阅读次数:218
MapReduce 中的两表 join 实例(二)
packagecom.baidu.uilt; importjava.io.*; importorg.apache.hadoop.io.*; publicclassTextPairimplementsWritableComparable<TextPair>{ privateTextfirst; privateTextsecond; publicTextPair(){ set(newText(),newText()); } publicTextPair(Stringfirst,Strings..
分类:其他好文   时间:2014-10-04 03:32:06    阅读次数:303
《机器学习实战》菜鸟学习笔记(三)kNN手写识别系统
目的:利用kNN识别数字0-9材料:32*32的数字方阵(保存形式是文本文件)#-*-coding:utf-8-*-from numpy import *def img2vector(filename): #生成一个1*1024的array(zeros是numpy的函数,至于array与lis...
分类:其他好文   时间:2014-10-04 02:25:05    阅读次数:234
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!