码迷,mamicode.com
首页 > 2014年05月03日 > 全部分享
Hadoop初学指南(5)--MapReduce入门
本文将介绍Hadoop中的重点MapReduce的入门知识。(1)MapReduce概述MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。MR由两个阶段组成:Map和Reduce,在Hadoop中用户只需要实现map()和reduce()两个函数,即可实现分布式计算,非常简单..
分类:其他好文   时间:2014-05-03 01:53:48    阅读次数:519
rsync + inotify 用来实现数据实时同步
一、简介1、rsync比其cp、tar备份的方法,rsync的优点是,安全性高、备份迅速、支持增量备份。只能做对实时性要求不高的数据备份,例如:备份文件服务到远端从服务器、在本地磁盘上做数据镜像等增量备份:就是rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输。但是..
分类:其他好文   时间:2014-05-03 01:14:53    阅读次数:474
开发安全卫士中遇到的问题
异常一:Can‘tcreatehandlerinsidethreadthathasnotcalledLooper.prepare()这个异常是因为非主线程中默认没有创建对象。所以就要看看该方法所在的线程是不是主线程一看。真的不是。于是取消newThread().start();搞定。问题1:@OverridepublicvoidonClick(DialogInterfacedialog,i..
分类:其他好文   时间:2014-05-03 00:48:54    阅读次数:276
linux文件属性知识总结
linux文件属性可以使用ls-l命令查看。文件属性为以下1.文件类型:-,d,l,b,c,s等2.文件链接数#创建文件链接命令 ln[-s创建软连接]targetlink_name #默认创建硬链接3.文件读写执行属性4.文件属主和群5.文件大小ls-h #以友好方式显示文件大小6.文件时间属性#mtime(modificati..
分类:系统相关   时间:2014-05-03 01:55:59    阅读次数:504
Hadoop初学指南(6)--MapReduce的简单实例及分析
本文在上一节的基础上通过一个简单的MR示例对MapReduce的运行流程进行分析。假设有两行数据,分别是helloyou,hellome,我们要统计其中出现的单词以及每个单词出现的次数。所得的结果为hello2you1me1(1)大致运行流畅1.解析成2个<k,v>,分别是<0,helloyou><10,hel..
分类:其他好文   时间:2014-05-03 01:51:40    阅读次数:382
linux下常见的压缩指令
#touch2022#gzip2022(源文件被删除)#gzip-d2022.gz#gzip2022(不可以用来压缩目录)#gunzip2022.gz#zipservices.zip/etc/services#zip-retc.zip/etc(可以压缩目录)#unzipservices.zip#bzip22022#bunzip22022.bz2#bzip2-k2022#bunzip2-k2022.bz2#tar-zxvf2022.tar.gz#tar-zxvf2022..
分类:系统相关   时间:2014-05-03 01:45:10    阅读次数:400
rsync inotify
rsync客户端+inotify-tools1.1.1.12rsync服务器1.1.1.111.1.1.12配置[root@slave3wwwroot]#cat/etc/rsyncd-web.sh #!/bin/bash host1=1.1.1.11 src=/web/wwwroot/ dst1=web1 /usr/bin/inotifywait-mrq--timefmt‘%d/%m/%y%H:%M‘--format‘%T%w%f%e‘-emodify,delete,create,attrib..
分类:其他好文   时间:2014-05-03 01:08:22    阅读次数:426
Vmware vSphere Clinet 5.5 Win2003 WinXp无法连接的处理
环境:Microsoft(R)Windows(R)Server2003,EnterpriseEditionServicePack2Microsoft(R)Windows(R)Serverxp,EnterpriseEditionServicePack3描述:安装VmwarevSphereClinet5.5过程中出现警告如下:VmwarevSphereClinet5.5安装在WindowsXP或者WindowsServer2003系统时,vSphere客户..
分类:Windows程序   时间:2014-05-03 01:06:15    阅读次数:11720
修改LigerUI的导航栏,改为Tab标签模式
修改LigerUI的导航栏,改为Tab标签模式LigerUI导航栏本身是没有tab标签模式的,但是实际上,很多时候标签能能更好的展示业务,将导航的内容按照类目进行划分,避免一个里面太多的情况。下面是我改造后的效果图,如下:ligerui是一个不错的免费开源ui框架,功能还是很强大的,但..
分类:其他好文   时间:2014-05-03 02:17:47    阅读次数:345
Postfix 实例1—构建与AD同步的Linux邮件系统—项目说明
说说以前做的一个项目。。。某公司原先使用Exchange邮件系统,因为公司人数剧增,原有的license远远不够,并且原有Exchange版本也较老,又没有很多预算投在邮件系统上。公司邮件安全级别也想提高,相对于每个部门或者员工进行邮件发送控制等等……反正原因很多,归结起来就是想..
分类:系统相关   时间:2014-05-03 01:21:21    阅读次数:623
运维的我要学开发--Python(3)
本文均来自PythonCookbook,本博文励志将Cookbook中的string部位,文件,面向对象编程部分完成,本系列博文陆续还会介绍flask框架,每篇博文都以一个个小例子展示。#-*-coding:utf-8-*- ‘‘‘ 检查一个文本是字符串还是二进制 思想:如果字符串中包含了空值或者其中含有超过30%的..
分类:编程语言   时间:2014-05-03 00:55:27    阅读次数:375
运维的我要学开发--Python(4)
本文均来自PythonCookbook,本博文励志将Cookbook中的string部位,文件,面向对象编程部分完成,本系列博文陆续还会介绍flask框架,每篇博文都以一个个小例子展示。#-*-coding:utf-8-*- ‘‘‘ 文件相关的操作: read() open() 两个参数: 第一个:文件路径 第二个:打开文件的模式 常..
分类:编程语言   时间:2014-05-03 02:00:18    阅读次数:417
通用二进制格式的MySQL安装
1.下载MySQL的通用二进制压缩包,并创建mysql用户及组http://pan.baidu.com/s/1kTskJKNuseraddmysql idmysql uid=500(mysql)gid=500(mysql)groups=500(mysql)2.创建MySQL的数据目录/mydata/data,此目录建议使用LVM实现,方便以后随时扩容和基于LVM快照对MySQL进行备份。fdisk/d..
分类:数据库   时间:2014-05-03 00:57:35    阅读次数:329
纪念注册满5周年
突然发现2009年5月1日注册,到现在满5周年了。以前一直没有想到写些什么来交流和分享,直到最近。。。希望自己能坚持写下去。。。想想自己过两天就能回国啦,真是高兴
分类:其他好文   时间:2014-05-03 02:06:56    阅读次数:321
LVM原理和实践
LVM原理和实践目录:一:LVM原理详解二:LVM创建三:LVM的增大和放缩四:LVM快照五:相关扩展阅读一:LVM原理详解1.LVM是什么?LVM是linux系统上的一个逻辑卷管理器有两个版本lvm1和lvm2现在默认是lvmm2,lvm2兼容lvm1但是对于lvm1的快照是不兼容的,所以如果你使用lvm1创建了快照,请在升..
分类:其他好文   时间:2014-05-03 01:04:02    阅读次数:412
NTP时间服务器
网络时间协议NTP(NetworkTimeProtocol)是用于互联网中时间同步的标准互联网协议。NTP的用途是把计算机的时间同步到某些时间标准。目前采用的时间标准是世界协调时UTC(UniversalTimeCoordinated)。NTP的主要开发者是美国特拉华大学的DavidL.Mills教授。NTP对于我们个人来说..
分类:其他好文   时间:2014-05-03 02:11:16    阅读次数:443
Linux网络服务之FTP
Linux网络服务之FTP实验要求:1、配置可匿名上传FTP服务。(此需求为纯实验需求,实际环境中一般不使用此功能)2、配置本地用户访问FTP服务,拒绝匿名用户访问,验证黑白名单,禁锢普通用户nick在自己的主目录里面。3、更改匿名用户的站点为/ftp/ftp,更改本地用户的站点为/ftp..
分类:系统相关   时间:2014-05-03 01:43:03    阅读次数:490
651条   上一页 1 ... 34 35 36 37 38 39 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!