1. 背景随着大数据时代来临，人们发现数据越来越多。但是如何对大数据进行存储与分析呢？ 单机PC存储和分析数据存在很多瓶颈，包括存储容量、读写速率、计算效率等等，这些单机PC无法满足要求。2. 为解决这些存储容量、读写速率、计算效率等等问题，google大数据技术开发了三大革命性技术解决这些问题，这...
分类：
其他好文 时间：
2015-09-16 17:20:30
阅读次数：
183
hive是大数据技术簇中进行数据仓库应用的基础组件，是其它类似数据仓库应用的对比基准。基础的数据操作我们可以通过脚本方式以hive-client进行处理。若需要开发应用程序，则需要使用hive的jdbc驱动进行连接。本文以hivewiki上示例为基础，详细讲解了如何使用jdbc连接hive数据库..
分类：
数据库 时间：
2015-09-15 20:18:25
阅读次数：
633
最近发现大数据技术的一些部署，高可用，集群等和网站的负载均衡，自动化运维，灾备等其实有很多知识都是重合的，要学好linux运维相关，在大数据的研究上也会有所提高。既然工作需要去系统的去学习linux运维的技术，那就去好好的去学习它~~,况且我还很喜欢捣鼓这个。 :） 先总结了解一台服务器状态的...
分类：
系统相关 时间：
2015-09-11 15:44:08
阅读次数：
200
在探讨今天的主题——如何利用各类资源学习Hadoop知识——之前，让我们首先搞清楚另一个问题：大数据Hadoop到底是什么？简单来讲，Hadoop是一套用于实现大数据技术的框架方案。为了顺利掌握Hadoop，大家需要理解两...
分类：
其他好文 时间：
2015-08-14 11:58:04
阅读次数：
163
转载自http://www.csdn.net/article/2013-07-08/2816149Spark已正式申请加入Apache孵化器，从灵机一闪的实验室“电火花”成长为大数据技术平台中异军突起的新锐。本文主要讲述Spark的设计思想。Spark如其名，展现了大数据不常见的“电光石火”。具体特...
分类：
其他好文 时间：
2015-08-13 20:07:56
阅读次数：
319
随着大数据的各个领域的深入应用，大数据的价值正逐渐凸显，而大数据的核心价值在于从海量的复杂数据中挖掘出有价值的信息，通过大数据技术进行更快地分析、更准确地预测，发掘出新的业务模式，创造新的商业发展机会。 因此，大数据时代下，企业迫切需要思考如何应用大数据技术改造完善已有数据中心平台，提升企业...
分类：
其他好文 时间：
2015-08-07 22:18:08
阅读次数：
114
实现万物互联的途径之一--通过半成品芯片智能化方案、手机操作系统（内置常用场景）、开放统一的通信协议、云平台的管理和大数据技术，路由器做控制/连接中枢、智能插座做能源控制中枢。硬件上通过半成品智能芯片实现了批量智能化，成本也可以压低；硬件之间的通信协议是统一的，利于联网和数据共享；再提供统一的云平台管理和数据收集，也就真正实现了生活各个维度的数据汇集，通过大数据和人工智能技术就可以逐步的实现自动化。...
分类：
其他好文 时间：
2015-07-16 19:48:29
阅读次数：
139
本文是作者研究Flume的一些内容摘要，包括Flume最新的版本及flume的相关组件介绍。...
分类：
Web程序 时间：
2015-07-16 00:54:03
阅读次数：
524
云智慧（北京）科技有限公司陆兴海3、他和她的相遇（大数据与应用性能管理）可以说，正是由于多年的擦身而过，在浪漫的2014年，大数据与应用性能管理真正相遇了。而这个相遇实际并非偶然：一方面源于应用性能管理数据的大数据特性，另一方面也因为大数据技术发展带来的更高层次..
分类：
其他好文 时间：
2015-07-15 15:17:33
阅读次数：
201
1 引言：项目最近要引入大数据技术，使用其处理加工日上网话单数据，需要kettle把源系统的文本数据load到hadoop环境中2 准备工作：1 首先要了解支持hadoop的Kettle版本情况，由于kettle资料网上较少，所以最好去官网找,官网的url:http://wiki.pentaho.c...
分类：
其他好文 时间：
2015-07-08 00:24:10
阅读次数：
198
