需求：百万、千万、4千万级日志对设备进行除重环境：设备内存64G，scala单机版运行shell文件日志：20G 48000000.log4.0G 10000000.log396M 1000000.log代码如下帮助010203040506070809101112131415161718192021...
分类：
编程语言 时间：
2015-02-11 14:22:38
阅读次数：
743
介绍Hadoop安装好后，有人会想做一个mapreduce的job跑一跑，mapreduce其实是两个功能，一个是mapper，一个是reducer，废话不多说，现在开始。正文1环境1.1部署hadoop单机版即可，namenode,datanode,resourcemanager,nodemanager,secondnamenode都部署在同一台机器上。创建hadoo..
分类：
其他好文 时间：
2015-01-30 17:52:32
阅读次数：
313
我的PC设备比较旧了，为了系统能流畅点，不必要的服务就不开启了。然而，服务那么多，每次重装，都要从头了解一下一边，浪费时间。个人在网络上收集信息并结合自己的摸索，整理如下，以备查找。服务名称显示名称设置状态备注AxInstSVActiveX Installer (AxInstSV)ManualSen...
话说我刚刚入IT这个行当的时候（thatwouldbe15yrsago），单位的网络应用还十分的简单，硬件不过几台交换机还都是杂牌的，还都是非智能的，软件应用如果有也是单机版的，财务电算化是个能够拿得出手的应用。当时我的工作只有两大块：让单位的办公室PC能够上网，让单位的网站有内..
分类：
其他好文 时间：
2015-01-26 15:17:43
阅读次数：
185
hello flume (Ubuntu 下 flume1.5单机版安装以及简单入门示例)...
分类：
Web程序 时间：
2015-01-22 13:20:37
阅读次数：
137
背景：新的一年开始，专栏会坚持下去，继续与大家相互交流学习。本篇博文再一次分析DCMTK自带的工具包dcmqrscp.exe（类似于一个单机版miniPACS），此次主要关注dcmqrscp.exe的数据库部分，通过使用dcmqridx.exe手动操作dcmqrscp.exe的数据库文件，直观了解数据库的记录内容；然后利用dcmqrti.exe查询dcmqrscp.exe的数据库文件，学习如何操作dcmqrscp.exe数据库。...
分类：
其他好文 时间：
2015-01-11 01:01:28
阅读次数：
426
前面bolg中提到了 eclipse操作单机版的Hbase列子 不熟悉的朋友可以去看看
eclipse 连接并操作单机版Hbase
本篇文章介绍一个 Mapreduce 读取 Hbase 中数据 并进行计算 列子 类似与 wordcount 不过 此时的输入 是从 Hbase中读取
首先 需要创建输入源...
分类：
系统相关 时间：
2015-01-09 17:25:34
阅读次数：
161
这篇文章将介绍如何搭建kafka环境，我们会从单机版开始，然后逐渐往分布式扩展。单机版的搭建官网上就有，比较容易实现，这里我就简单介绍下即可，而分布式的搭建官网却没有描述，我们最终的目的还是用分布式来解决问题，所以这部分会是重点。Kafka的中文文档并不多，所以我们尽量详细点儿写。要交会你搭建分布式...
分类：
其他好文 时间：
2015-01-08 17:12:08
阅读次数：
169
老师分配的项目需要编软件，刚好最近一直在玩手机上的数独，所以就想用空余时间写一个PC上的单机版的数独小游戏，练练自己的编程能力。不能保证每天都有时间花在这个小程序上面，不过会尽量坚持下去，每完成一点东西，都会把核心代码和查到的相关资料发一下，目前还处在语法都没学完的阶段，想借这个机会记录一下自己的成...
原文：http://blog.csdn.net/jingshuigg/article/details/25001979一、对于服务器端的搭建可以参考上一篇文章：kafka单机版环境搭建与测试服务器端IP ：10.0.30.221运行环境的目录如下：需要改动config文件夹下的server.prop...
