码迷,mamicode.com
首页 >  
搜索关键字:大数据 sqoop 数据处理    ( 17411个结果
MATLAB数据处理快速学习教程
转自:http://blog.csdn.net/abcjennifer/article/details/7706581本篇内容集合了MATLAB中的基本操作、数据存储与计算、数据的直线与曲线拟合与画图、for-if-while语句的使用方法对一般matlab的操作进行了基本和详细的应用举例,非常适合...
分类:其他好文   时间:2014-05-13 19:41:00    阅读次数:443
新型I/O架构引领存储之变(三)
超大规模数据中心TCO(总拥有成本)优化是另一个重要驱动因素。“横向扩展”的概念基本上是在一个集群中采用一系列统一的硬件元件,将应用负载分解成具有相同处理功能的子任务,然后在基础的硬件元件上执行这些功能。通过复制统一的硬件元素,即可为持续增加的应用负载如系统吞吐量、相关数据组大小等等几乎所有与基础设施资源扩展相关的方方面面提供支持。横向扩展的架构...
分类:其他好文   时间:2014-05-13 06:39:55    阅读次数:365
海量数据解决思路之Hash算法
一、概述本文将粗略讲述一下Hash算法的概念特性,里边会结合分布式系统负载均衡实例对Hash的一致性做深入探讨。另外,探讨一下Hash算法在海量数据处理方案中的通用性。最后,从源代码出发,具体分析一下Hash算法在MapReduce框架的中的应用。二、Hash算法Hash可以通过散列函数将..
分类:其他好文   时间:2014-05-13 01:34:11    阅读次数:421
大数据时代的新BI系统架构发展趋势
商业智能(BI,Business Intelligence),它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策。本文分析了BI系统与大数据分析结合的趋势和软件架构方案。...
分类:其他好文   时间:2014-05-12 23:53:15    阅读次数:463
学习Hadoop生态系统最值得一读的书籍
学习大数据的处理,有必要读一下有关大数据的书籍。这里,我列举了几本书,仅供参考。       1 ZooKeeper: Distributed Process Coordination        这本书针对的是初级或者高级的开发,面向Zookeeper编程的工程师们。如果你的工程中(如HBase)涉及到Zookeeper的应用,有必要了解一下Zookeeper的管理知识和一些基本解...
分类:其他好文   时间:2014-05-12 22:46:32    阅读次数:662
Thrift---more efficient transport protocol.
Thrift 是什么? Thrift源于大名鼎鼎的facebook之手,在2007年facebook提交Apache基金会将Thrift作为一个开源项目,对于当时的facebook来说创造thrift是为了解决facebook系统中各系统间大数据量的传 输通信以及系统之间语言环境不同需要跨平台的特性...
分类:其他好文   时间:2014-05-12 20:35:23    阅读次数:296
个人知识管理系统Version1.0开发记录(01)
架 构 描 述 01、数据层,数据源,有形资源入库,无形资源整理,对外搜索引擎,对内平台搜索,数据类型(文字、图片、声音、视频、组合),数据时空优化,数据安全方案(数据进站关卡,数据出战关卡),数据并发方案,大数据分...
分类:其他好文   时间:2014-05-12 05:14:11    阅读次数:413
ASP中函数调用对参数的影响
ASP中函数调用对参数的影响 在ASP编程中,经常需要自己编写一些函数(或过程)来实现某些特定的功能,这时往往需要向函数(或过程)传递相应的参数  在函数(或过程)中进行数据处理,即有可能需要保留或改变参数的值,下面有相关范例  用下面的函数(TestAddress)就可以使一个函数多个返回值成为可能(一个函数返回值,多个参数改变后的值) 范例:   Option Explicit...
分类:Web程序   时间:2014-05-11 22:37:03    阅读次数:478
MapReduce入门实例
Hadoop集群(第9期)_MapReduce初级案例1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数.....
分类:其他好文   时间:2014-05-11 16:02:24    阅读次数:538
字节对齐与结构体大小
#pragma pack (n) /*指定按n字节对齐*/   不写这句默认n =8 设真正的对齐长度为m字节 如果n>结构体中数据类型(包括类类型)长度最大的数据类型长度,m = 结构体中最大数据类型长度 否则 m = n 总之,真正的对齐长度m为指定对齐长度n与结构体中最大类型长度中的较小值。 规则: 1. 结构体变量的首地址能够被m所整除; 2. 结构体每个...
分类:其他好文   时间:2014-05-11 13:32:36    阅读次数:299
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!