从《Hadoop权威指南》选取了一个小案例，在Hadoop集群环境中运行。1、新建JAVA类，保存书中源代码。[huser@master bin]$ vi
URLCat.javaimport java.io.InputStream;import java.net.URL;import org.apa...
分类：
其他好文 时间：
2014-05-14 03:52:36
阅读次数：
457
最近看着公司的项目是在太悲剧了看不下去了。各种供跨库调用各种卡，想换一种思路模式，找了很久感觉mongDB非关系型数据库比较合适也比较好玩。开始学习首先第一步
c# 链接mongDB集群
一 了解mongdb
一 学习部署
二 部署集群
三 C#链接mongdb 完成测试
mongdb 是作为非关系型数据库，数据存储在内存中，由于目前我我们公司全部采用sqlserve...
分类：
数据库 时间：
2014-05-13 08:46:05
阅读次数：
279
一个Hadoop集群拥有多个并行的计算机，用以存储和
Hadoop强调代码向数据迁移...
分类：
其他好文 时间：
2014-05-13 06:54:15
阅读次数：
366
超大规模数据中心TCO（总拥有成本）优化是另一个重要驱动因素。“横向扩展”的概念基本上是在一个集群中采用一系列统一的硬件元件，将应用负载分解成具有相同处理功能的子任务，然后在基础的硬件元件上执行这些功能。通过复制统一的硬件元素，即可为持续增加的应用负载如系统吞吐量、相关数据组大小等等几乎所有与基础设施资源扩展相关的方方面面提供支持。横向扩展的架构...
分类：
其他好文 时间：
2014-05-13 06:39:55
阅读次数：
365
本文记录Ant编译MapReduce程序的过程。程序使用《Hadoop MapReduce
Cookbook》中的示例代码。1、安装AntAnt项目主页：http://ant.apache.org/下载二进制安装包，例如apache-ant-1.9.4-bin.tar.gz，上传到Hadoop集群环...
分类：
其他好文 时间：
2014-05-12 20:44:36
阅读次数：
398
分布式存储当下互联网飞速发展，海量并发所产生的数据量以几何方式增长，随着信息链接方式日益多样化，数据存储的结构也发生了变化，在这样的压力下我们不得不重新审视大量数据的存储所带来的挑战，比如：数据采集、数据存储、数据搜索、数据共享、数据传输、数据分析、数据可..
分类：
其他好文 时间：
2014-05-12 04:08:32
阅读次数：
493
DNS服务器的更新：一听就知道不止一台的DNS服务器，要是一台也用不着更新对吧？一般都是DNS集群。一台DNS更新了，添加一条数据，下面的都要跟着它变。主DNS服务器的配置首先先配置DNS服务器信息同步，后面再配置更新DNS服务器：1、
前面很简单：安装bind软件包、修改named服务配置文件;V...
分类：
其他好文 时间：
2014-05-12 00:49:26
阅读次数：
278
一、CoroSynccorosync最初只是用来演示OpenAIS集群框架接口规范的一个应用，可以说corosync是OpenAIS的一部分，然而后面的发展超越了官方最初的设想，越来越多的厂商尝试使用corosync作为集群解决方案。如Redhat的RHCS集群套件就是基于corosync实现。corosync只提供了messagela..
分类：
其他好文 时间：
2014-05-11 19:43:46
阅读次数：
532
接续接上篇缓存时代来临为蓝本,继续改造我们的百万级站点架构,这次我们拿之前存储静态内容的nfs开刀,众所周知nfs的多台集群节点下可能由于多重原因(磁盘io,网络带宽,并发场景),不适合做文件共享系统的基础结构.互联网站点中,存在大量图片或其他静态内容,并且这些内容一般在1M之..
分类：
其他好文 时间：
2014-05-11 19:16:07
阅读次数：
674
Hadoop集群（第9期）_MapReduce初级案例1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1
实例描述 对数.....
分类：
其他好文 时间：
2014-05-11 16:02:24
阅读次数：
538
