Hadoop集群(第9期)_MapReduce初级案例 - 虾皮 - 博客园1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1....
分类:
其他好文 时间:
2014-05-08 20:38:16
阅读次数:
669
引言:这段时间有项目要用到c#生成Word文档,通过网络查找到很多内容,但是功能上满足不了个人需求,于是决定借助网友们已经写好的代码,加以修改完善,以便于更好的交流和以后相似问题可以迅速的解决!备注:本文用到的相关文件,在日志结尾提供下载第一步、项目基础——引用的添加注意:此处要查找的“Micros...
分类:
其他好文 时间:
2014-05-08 20:31:25
阅读次数:
432
mongodb的读写分离使用Replica Sets来实现对于replica set
中的secondary 节点默认是不可读的。在写多读少的应用中,使用Replica
Sets来实现读写分离。通过在连接时指定或者在主库指定slaveOk,由Secondary来分担读的压力,Primary只承担写操...
分类:
数据库 时间:
2014-05-07 09:31:37
阅读次数:
531
org.apache.log4j.Logger详解1.概述1.1.背景在应用程序中添加日志记录总的来说基于三个目的:监视代码中变量的变化情况,周期性的记录到文件中供其他应用进行统计分析工作;跟踪代码运行时轨迹,作为日后审计的依据;担当集成开发环境中的调试器的作用,向文件或控制台打印代码..
分类:
其他好文 时间:
2014-05-06 20:04:27
阅读次数:
431
1)错误日志(errorlog)错误日志对MySQL的启动、运行、关闭过程进行了记录。通过showvariableslike‘log_error‘来定位该文件。mysql>showvariableslike‘log_error‘;
+---------------+---------------------------------+
|Variable_name|Value|
+---------------+----------..
分类:
数据库 时间:
2014-05-06 17:21:14
阅读次数:
447
1)binlog会记录所有与MySQL有关的记录,包括InnoDB、MyISAM等其他存储引擎的日志。而InnoDB存储引擎的redolog只记录有关该存储引擎本身的事务日志。2)binlog记录的是一个事务的具体操作内容,即该日志是逻辑日志。而redolog记录的是每个页(page)的物理更改情况。3)binlog仅在..
分类:
其他好文 时间:
2014-05-06 17:03:44
阅读次数:
370
selinux限制apacheexec执行cgi一、起因某日发现smokeping访问失败,发布的apache进程不存在;在/usr/local下找不到任何apache文件,怀疑apache是rpm安装,使用/etc/init.d/httpd启动后果真listen8001端口···二、排查1、获取error日志的关键内容启动后尝试刷新8001下的smokep..
分类:
系统相关 时间:
2014-05-06 16:39:10
阅读次数:
689
whoami:当前登录到系统的有效用户who:显示当前系统上登录的用户都有哪些-r:显示当前的运行级别的who|grep"hadoop"
echo$?w:显示谁登陆了,并且正在干什么。(显示的信息比who更详细)last:显示登录的日志,记录登录历史和重启历史-n#:只显示#次的登录信息lastb:/var/log/..
分类:
系统相关 时间:
2014-05-06 16:05:21
阅读次数:
506
为了更好的体现luanet的设计意图和避免与网上另一个开源项目重名造成混淆,
luanet正式更名为distri.lua.后需开发工作包括跨平台,日志,通过Fork创建新线程正在开发中.新地址:https://github.com/sniperHW/distri.lua
分类:
Web程序 时间:
2014-05-06 14:27:46
阅读次数:
299
原创转载请注明地址归档日志:非活动的重做日志,用来保存所有的重做历史记录。什么时候写归档日志:当数据库处于archivelog模式并重做日志切换的时候,后台进程ARCH会启动将重做日志的内容完整的保存到归档日志中。日志操作模式:
NOARCHIVELOG模式不保留重做日志记录的历史,只能保护例程失败...
分类:
数据库 时间:
2014-05-06 14:26:26
阅读次数:
553