http://blog.sina.com.cn/s/blog_7ca5799101013dtb.html目前，虽然大数据与数据库一体机都很火热，但相当一部分人却无法对深入了解这两者的本质区别。这里便对大数据技术（如Hadoop等，主要指MapReduce与NoSQL）与数据库一体机（新一代的主流关系...
分类：
数据库 时间：
2014-06-29 06:09:08
阅读次数：
298
1 Lustre概述Lustre是面向集群的存储架构，它是基于Linux平台的开源集群（并行）文件系统，提供与POSIX兼容的文件系统接口。Lustre两个最大特征是高扩展性和高性能，能够支持数万客户端系统、PB级存储容量、数百GB的聚合I/O吞吐量。Lustre是Scale-Out存储架构，借助强...
分类：
其他好文 时间：
2014-06-29 00:39:13
阅读次数：
253
摘要MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可以用这个模型来表示的现实世界的工作.以这种方式写...
分类：
其他好文 时间：
2014-06-29 00:17:14
阅读次数：
369
1、经理让我使用多模块搭建框架，供开发小组其他人使用，避免出现以前开发项目时出现的错误。2、经理 的意思是说，创建6个项目 其中两个项目是用来打包的，另外的几个项目，进行模块划分。3、我疑惑就是，我们四个人怎么进行运行项目，毕竟与之前的目录结构不同了，思考方式也不同了，所以怎么进行运行项目才是一个真...
分类：
其他好文 时间：
2014-06-21 13:23:47
阅读次数：
185
一：flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。，Flume架构分为三个部分 源-Source，接收器-Sink，通道-Channel。二：配置...
分类：
其他好文 时间：
2014-06-21 08:59:50
阅读次数：
245
1、为了开发与项目的 代码结构，使用maven的聚合。2、commans类，过滤器，监听器。3、维护hq-utils的jar包。4、web 总的 ，各配置文件 如spring struts2的配置文件，都在自己的各项目下，创建一个配置文件，在web总的项目下进行引用。spring_*类似这样的写法。...
分类：
其他好文 时间：
2014-06-20 22:25:16
阅读次数：
269
##Flume概述[Flume](http://flume.apache.org/)是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 ...
分类：
其他好文 时间：
2014-06-20 22:18:57
阅读次数：
309
桥梁（Bridge）模式：桥梁模式是一个非常有用的模式，也是比较复杂的一个模式。熟悉这个模式对于理解面向对象的设计原则，包括"开－闭"原则(OCP)以及组合/聚合复用原则(CARP)都很有帮助。理解好这两个原则，有助于形成正确的设计思想和培养良好的设计风格 /* * 抽象化(Abstract...
分类：
其他好文 时间：
2014-06-18 15:47:29
阅读次数：
444
运行mahout in action上的cluster示例时报错：Error: Found interface org.apache.hadoop.mapreduce.Counter, but class was expected 确定是版本问题，我的hadoop版本是2.4，但mahout目...
分类：
其他好文 时间：
2014-06-18 11:07:10
阅读次数：
394
1，商城：是单商家，多买家的商城系统。数据库是mysql，语言java。
2，sqoop1.9.33：在mysql和hadoop中交换数据。
3，hadoop2.2.0：这里用于练习的是伪分布模式。
4，完成内容：喜欢该商品的人还喜欢，相同购物喜好的好友推荐。
步骤：
1，通过sqoop从mysql中将 “用户收藏商品” （这里用的是用户收藏商品信息表作为推荐系统业务上的依据，业务依...
分类：
其他好文 时间：
2014-06-18 07:14:43
阅读次数：
230
