http://blog.sina.com.cn/s/blog_7ca5799101013dtb.html目前，虽然大数据与数据库一体机都很火热，但相当一部分人却无法对深入了解这两者的本质区别。这里便对大数据技术（如Hadoop等，主要指MapReduce与NoSQL）与数据库一体机（新一代的主流关系...
分类：
数据库 时间：
2014-06-29 06:09:08
阅读次数：
298
在2014年4月7日，Apache公布了Hadoop 2.4.0 。相比于hadoop 2.3.0，这个版本号有了一定的改进，突出的变化能够总结为下列几点（官方文档说明）：1 支持HDFS訪问控制列表（ACL，Access Control Lists） 这个特性攻克了在一定情况下，文件权限訪...
分类：
其他好文 时间：
2014-06-29 06:07:36
阅读次数：
299
最近，由于工作的需要，学习了基于Hadoop的一个数据仓库工具hive。遇到并解决了一些问题，但是有个select语句的细微差别值得注意。 首先来看两条hql语句： SELECT * FROM MY_TABLE where dt=2014031205 limit 10 SELECT ID,NAM.....
分类：
其他好文 时间：
2014-06-28 23:54:20
阅读次数：
400
Hadoop给我们提供了使用ｃ语言访问hdfs的API，下面进行简要介绍：环境：ubuntu14.04hadoop1.0.1jdk1.7.0_51访问hdfs的函数主要定义在hdfs.h文件中，该文件位于hadoop-1.0.1/src/c++/libhdfs/文件夹下，而相应的库文件是位于hado...
一、在Ubuntu下创建hadoop组和hadoop用户增加hadoop用户组，同时在该组里增加hadoop用户，后续在涉及到hadoop操作时，我们使用该用户。1、创建hadoop用户组2、创建hadoop用户 sudo adduser -ingroup hadoop hadoop回车后会提示输入...
分类：
其他好文 时间：
2014-06-28 21:59:24
阅读次数：
257
安装环境为 CentOS 64位系统，大概分下面几个步奏，0. 安装JDK1. 配置SSH2. 配置/etc/hosts3. 拷贝hadoop包到没台机器上4. 修改hadoop配置文件5. 关闭每台机器的防火墙6. 格式化namenode7. 运行hadoop详细说每个步奏，0. 安装jdk下载J...
分类：
其他好文 时间：
2014-06-21 12:37:47
阅读次数：
272
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些...
分类：
其他好文 时间：
2014-06-21 08:57:48
阅读次数：
430
1，商城：是单商家，多买家的商城系统。数据库是mysql，语言java。
2，sqoop1.9.33：在mysql和hadoop中交换数据。
3，hadoop2.2.0：这里用于练习的是伪分布模式。
4，完成内容：喜欢该商品的人还喜欢，相同购物喜好的好友推荐。
步骤：
1，通过sqoop从mysql中将 “用户收藏商品” （这里用的是用户收藏商品信息表作为推荐系统业务上的依据，业务依...
分类：
其他好文 时间：
2014-06-18 07:14:43
阅读次数：
230
Shark是基于Spark与Hive之上的一种SQL查询引擎。...
分类：
其他好文 时间：
2014-06-18 06:54:00
阅读次数：
286
要在一个Flume Agent中定义数据流，你需要通过一个Channel将Source和Sink连接起来。你需要列出给定Agent的Source、Sink和Channel。一个Source可以指定多个Channel，但是一个Sink只能指定一个Channel。...
分类：
其他好文 时间：
2014-06-18 06:30:34
阅读次数：
306
