本文将介绍Hadoop中的重点MapReduce的入门知识。(1)MapReduce概述MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。MR由两个阶段组成:Map和Reduce,在Hadoop中用户只需要实现map()和reduce()两个函数,即可实现分布式计算,非常简单..
分类:
其他好文 时间:
2014-05-03 01:53:48
阅读次数:
519
一、简介1、rsync比其cp、tar备份的方法,rsync的优点是,安全性高、备份迅速、支持增量备份。只能做对实时性要求不高的数据备份,例如:备份文件服务到远端从服务器、在本地磁盘上做数据镜像等增量备份:就是rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输。但是..
分类:
其他好文 时间:
2014-05-03 01:14:53
阅读次数:
474
异常一:Can‘tcreatehandlerinsidethreadthathasnotcalledLooper.prepare()这个异常是因为非主线程中默认没有创建对象。所以就要看看该方法所在的线程是不是主线程一看。真的不是。于是取消newThread().start();搞定。问题1:@OverridepublicvoidonClick(DialogInterfacedialog,i..
分类:
其他好文 时间:
2014-05-03 00:48:54
阅读次数:
276
linux文件属性可以使用ls-l命令查看。文件属性为以下1.文件类型:-,d,l,b,c,s等2.文件链接数#创建文件链接命令
ln[-s创建软连接]targetlink_name
#默认创建硬链接3.文件读写执行属性4.文件属主和群5.文件大小ls-h
#以友好方式显示文件大小6.文件时间属性#mtime(modificati..
分类:
系统相关 时间:
2014-05-03 01:55:59
阅读次数:
504
本文在上一节的基础上通过一个简单的MR示例对MapReduce的运行流程进行分析。假设有两行数据,分别是helloyou,hellome,我们要统计其中出现的单词以及每个单词出现的次数。所得的结果为hello2you1me1(1)大致运行流畅1.解析成2个<k,v>,分别是<0,helloyou><10,hel..
分类:
其他好文 时间:
2014-05-03 01:51:40
阅读次数:
382
#touch2022#gzip2022(源文件被删除)#gzip-d2022.gz#gzip2022(不可以用来压缩目录)#gunzip2022.gz#zipservices.zip/etc/services#zip-retc.zip/etc(可以压缩目录)#unzipservices.zip#bzip22022#bunzip22022.bz2#bzip2-k2022#bunzip2-k2022.bz2#tar-zxvf2022.tar.gz#tar-zxvf2022..
分类:
系统相关 时间:
2014-05-03 01:45:10
阅读次数:
400
rsync客户端+inotify-tools1.1.1.12rsync服务器1.1.1.111.1.1.12配置[root@slave3wwwroot]#cat/etc/rsyncd-web.sh
#!/bin/bash
host1=1.1.1.11
src=/web/wwwroot/
dst1=web1
/usr/bin/inotifywait-mrq--timefmt‘%d/%m/%y%H:%M‘--format‘%T%w%f%e‘-emodify,delete,create,attrib..
分类:
其他好文 时间:
2014-05-03 01:08:22
阅读次数:
426
环境:Microsoft(R)Windows(R)Server2003,EnterpriseEditionServicePack2Microsoft(R)Windows(R)Serverxp,EnterpriseEditionServicePack3描述:安装VmwarevSphereClinet5.5过程中出现警告如下:VmwarevSphereClinet5.5安装在WindowsXP或者WindowsServer2003系统时,vSphere客户..
分类:
Windows程序 时间:
2014-05-03 01:06:15
阅读次数:
11720
修改LigerUI的导航栏,改为Tab标签模式LigerUI导航栏本身是没有tab标签模式的,但是实际上,很多时候标签能能更好的展示业务,将导航的内容按照类目进行划分,避免一个里面太多的情况。下面是我改造后的效果图,如下:ligerui是一个不错的免费开源ui框架,功能还是很强大的,但..
分类:
其他好文 时间:
2014-05-03 02:17:47
阅读次数:
345
说说以前做的一个项目。。。某公司原先使用Exchange邮件系统,因为公司人数剧增,原有的license远远不够,并且原有Exchange版本也较老,又没有很多预算投在邮件系统上。公司邮件安全级别也想提高,相对于每个部门或者员工进行邮件发送控制等等……反正原因很多,归结起来就是想..
分类:
系统相关 时间:
2014-05-03 01:21:21
阅读次数:
623
本文均来自PythonCookbook,本博文励志将Cookbook中的string部位,文件,面向对象编程部分完成,本系列博文陆续还会介绍flask框架,每篇博文都以一个个小例子展示。#-*-coding:utf-8-*-
‘‘‘
检查一个文本是字符串还是二进制
思想:如果字符串中包含了空值或者其中含有超过30%的..
分类:
编程语言 时间:
2014-05-03 00:55:27
阅读次数:
375
本文均来自PythonCookbook,本博文励志将Cookbook中的string部位,文件,面向对象编程部分完成,本系列博文陆续还会介绍flask框架,每篇博文都以一个个小例子展示。#-*-coding:utf-8-*-
‘‘‘
文件相关的操作:
read()
open()
两个参数:
第一个:文件路径
第二个:打开文件的模式
常..
分类:
编程语言 时间:
2014-05-03 02:00:18
阅读次数:
417
1.下载MySQL的通用二进制压缩包,并创建mysql用户及组http://pan.baidu.com/s/1kTskJKNuseraddmysql
idmysql
uid=500(mysql)gid=500(mysql)groups=500(mysql)2.创建MySQL的数据目录/mydata/data,此目录建议使用LVM实现,方便以后随时扩容和基于LVM快照对MySQL进行备份。fdisk/d..
分类:
数据库 时间:
2014-05-03 00:57:35
阅读次数:
329
突然发现2009年5月1日注册,到现在满5周年了。以前一直没有想到写些什么来交流和分享,直到最近。。。希望自己能坚持写下去。。。想想自己过两天就能回国啦,真是高兴
分类:
其他好文 时间:
2014-05-03 02:06:56
阅读次数:
321
LVM原理和实践目录:一:LVM原理详解二:LVM创建三:LVM的增大和放缩四:LVM快照五:相关扩展阅读一:LVM原理详解1.LVM是什么?LVM是linux系统上的一个逻辑卷管理器有两个版本lvm1和lvm2现在默认是lvmm2,lvm2兼容lvm1但是对于lvm1的快照是不兼容的,所以如果你使用lvm1创建了快照,请在升..
分类:
其他好文 时间:
2014-05-03 01:04:02
阅读次数:
412
网络时间协议NTP(NetworkTimeProtocol)是用于互联网中时间同步的标准互联网协议。NTP的用途是把计算机的时间同步到某些时间标准。目前采用的时间标准是世界协调时UTC(UniversalTimeCoordinated)。NTP的主要开发者是美国特拉华大学的DavidL.Mills教授。NTP对于我们个人来说..
分类:
其他好文 时间:
2014-05-03 02:11:16
阅读次数:
443
Linux网络服务之FTP实验要求:1、配置可匿名上传FTP服务。(此需求为纯实验需求,实际环境中一般不使用此功能)2、配置本地用户访问FTP服务,拒绝匿名用户访问,验证黑白名单,禁锢普通用户nick在自己的主目录里面。3、更改匿名用户的站点为/ftp/ftp,更改本地用户的站点为/ftp..
分类:
系统相关 时间:
2014-05-03 01:43:03
阅读次数:
490