一、Hadoop概述
hadoop由两部分组成，分别是分布式文件系统和分布式计算框架MapReduce。其中，分布式文件系统主要用于大规模数据的分布式存储，而MapReduce 则构建在分布式文件系
统之上，对存储在分布式文件系统中的数据进行分布式计算。
2、在Hadoop 中，MapReduce 底层的分布式文件系统是独立模块，用户可按照约定的一套接口实现自己的分布式文件系统，然后经过简单...
分类：
其他好文 时间：
2014-05-01 18:34:41
阅读次数：
382
一、 简介
我们知道，针对InnoDB存储引擎，MySQL本身没有提供合适的热备工具，ibbackup虽是一款高效的首选热备方式，但它是是收费的。好在Percona公司给大家提供了一个开源、免费的Xtrabackup热备工具，它可实现ibbackup的所有功能，并且还扩展支持真正的增量备份功能，是商业备份工具InnoDB Hotbackup的一个很好的替代品。
Xtraback...
分类：
数据库 时间：
2014-05-01 17:51:26
阅读次数：
571
Hadoop从2.3.0版本开始支持HDFS缓存机制，HDFS允许用户将一部分目录或文件缓存在HDFS当中，NameNode会通知拥有对应块的DataNodes将其缓存在DataNode的内存当中
集中式缓存管理有着许多显著的优势：
防止那些被频繁使用的数据从内存中清除因为DataNode的缓存由NameNode来管理，applications在做任务安排时可以查询这个缓存的列表，...
分类：
其他好文 时间：
2014-05-01 17:45:58
阅读次数：
379
一、简介
1、MapReduce 应用广泛的原因之一在于它的易用性。它提供了一个因高度抽象化而变得异常简单的编程模型。
2、从MapReduce 自身的命名特点可以看出，MapReduce 由两个阶段组成：Map 和Reduce 。用户只需编写map ( ) 和reduce( ) 两个函数，即可完成简单的分布式程序的设计。
1）m a p ( ) 函数以key/value 对作为输入，产...
分类：
其他好文 时间：
2014-04-30 22:23:39
阅读次数：
466
本文提供了对c3p0与DBCP连接池连接MySql数据库时， 8小时内无请求自动断开问题的连接方案。首先介绍一下我在项目中遇到的问题，后面提供了使用DBCP连接池的解决方案。
基本问题解决
项目环境：
Java Web项目框架为Spring MVC+JPA，使用c3p0连接池，发布环境为Tomcat 7
错误描述：
项目运行一段时间（大概几个小时）之后访问时会出现第一次访问报错，再次访问...
分类：
数据库 时间：
2014-04-29 13:45:21
阅读次数：
598
HBase是Hadoop的数据库，基于Hadoop运行，是一种NoSQL数据库。
特点：分布式、多版本、面向列的存储模型，能够大规模的数据实时随机读写，可直接使用本地文件系统。
不适合：与关系型数据库相比，模型简单，API很少；不适合小规模的数据。
数据存放的位置叫做单元(cell)，其中的数据可以有多个版本，根据时间戳(timestamp)来区别。
安装：
tar xfz hbase-...
分类：
其他好文 时间：
2014-04-29 13:27:22
阅读次数：
403
jdbc驱动到官网下载，放在jdk的相关目录下面，或者jar文件加入到工程下面
package test_mysql;
import java.sql.*;
import java.util.Set;
public class testjdbc {
public static Connection getConnection() throws ClassNotFoundException, S...
分类：
数据库 时间：
2014-04-29 13:22:20
阅读次数：
428
1、Map-Reduce的逻辑过程
假设我们需要处理一批有关天气的数据，其格式如下：
按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第25位是符号+/-
0067011990999991950051507+0000+
0043011990999991950051512+0022+
00430119...
分类：
其他好文 时间：
2014-04-29 13:22:20
阅读次数：
309
FAILED: Error in metadata: java.lang.RuntimeException: MetaException(message:org.apache.hadoop.hive.serde2.SerDeException org.apache.hadoop.hive.hbase.HBaseSerDe: columns has 3 elements while hbase.columns.mapping has 4 elements (counting the key if implic...
分类：
其他好文 时间：
2014-04-29 13:17:21
阅读次数：
387
mysql> select * from a
;
+----+------+--------------+
| id | name | descri |
+----+------+--------------+
| 1 | a1 | 我是第一个a1 |
| 2 | a2 | 我是第一个a2 |
| 3 | a3 | 我是a3 |
| 4...
分类：
其他好文 时间：
2014-04-29 13:16:21
阅读次数：
228
