码迷,mamicode.com
首页 >  
搜索关键字:hadoop 大数据    ( 24873个结果
hive基本操作
Hive是一个基于hadoop的数据仓库工具。Hive的查询语言是hive ql。一种类似sql的语言。 Hive支持的数据类型有 1整形: Tinyint  1字节整型 Smallint  2字节整型 Bigint   8字节整型   2.布尔型 Boolean   3浮点型  Float Double   4字符串类型 String   5.符合类型 ...
分类:其他好文   时间:2014-07-22 23:03:34    阅读次数:393
hadoop wordCount运行
本文以康哥的博客为基础进行修改和补充,详见:http://kangfoo.github.io/article/2014/01/hadoop1.x-wordcount-fen-xi/hadoop mapreduce 过程粗略的分为两个阶段: 1.map; 2.redurce(copy, sor...
分类:其他好文   时间:2014-05-02 00:06:57    阅读次数:553
R简单数据分析
眼下大数据口号满天飞,今天拿我微信圈朋友一段时间内分享内容作为数据,用R包的算法实现简单分析。由于微信没有接口获取数据,暂时只能手动记录数据,主要是做个小尝试,数据获取方式是其次。1)我们看看微信圈活跃的朋友。PS:知道为何我们的流量烧的这么快了吧?这些小伙伴八成是运营商潜伏过来的余则成,在背后分成...
分类:其他好文   时间:2014-05-01 19:11:52    阅读次数:372
hadoop技术基本架构
一、Hadoop概述 hadoop由两部分组成,分别是分布式文件系统和分布式计算框架MapReduce。其中,分布式文件系统主要用于大规模数据的分布式存储,而MapReduce 则构建在分布式文件系 统之上,对存储在分布式文件系统中的数据进行分布式计算。 2、在Hadoop 中,MapReduce 底层的分布式文件系统是独立模块,用户可按照约定的一套接口实现自己的分布式文件系统,然后经过简单...
分类:其他好文   时间:2014-05-01 18:34:41    阅读次数:382
亚马逊AWS在线系列讲座——第1讲:云计算和AWS入门
亚马逊AWS在线讲座将围绕AWS云平台的各种服务分不同的主题对AWS服务进行系统介绍。AWS在线讲座系列会由浅入深帮助刚开始接触AWS的用户了解各种AWS云服务,达到快速上手进行实际应用的目的。 第一讲:AWS入门介绍 在此次在线讲座旨在帮助您: 1. 了解AWS云计算概览及价值主张 2. 了解AWS 服务的特点:灵活、高效、弹性以及安全性 3. 了解AWS云平台的基础知识,包括AWS的计算、存储、网络、数据库和大数据等服务概况...
分类:其他好文   时间:2014-04-30 22:34:38    阅读次数:313
ORACLE存储过程如何迁移到HIVE?
在将ORACLE存储过程迁移到HIVE平台时,不可避免地会遇到各种问题。 ORACLE与HIVE都使用SQL语句,但是语法和特性不尽相同,本文简述了几个迁移时需要注意的地方。...
分类:数据库   时间:2014-04-30 22:31:40    阅读次数:526
javaScript Windows相关
javaScript 关于Windows 1 Windows 对象 所有浏览器都支持 window 对象。它表示浏览器窗口。 所有 JavaScript 全局对象、函数以及变量均自动成为 window 对象的成员。 全局变量是 window 对象的属性。 全局函数是 window 对象的方法。 window.document.getElementById("header"); 2...
分类:编程语言   时间:2014-04-30 22:27:39    阅读次数:499
MapReduce 编程模型
一、简介 1、MapReduce 应用广泛的原因之一在于它的易用性。它提供了一个因高度抽象化而变得异常简单的编程模型。 2、从MapReduce 自身的命名特点可以看出,MapReduce 由两个阶段组成:Map 和Reduce 。用户只需编写map ( ) 和reduce( ) 两个函数,即可完成简单的分布式程序的设计。   1)m a p ( ) 函数以key/value 对作为输入,产...
分类:其他好文   时间:2014-04-30 22:23:39    阅读次数:466
flare-spork: 自己维护的Pig on Spark项目
很早以前有个Pig Spork分支,尝试把Pig迁移到Spark上,但是代码很久没有更新了。目前Pig on Spark应该是在Twitter内部进行着。 flare-spork是基于Spork对Pig和Spark的衔接,把Spark部分的代码迁移到了Pig 0.12.0上,并且升级了依赖和版本,升级为Scala 2.10.3,Spark 0.9.1,且兼容Hadoop 2.2.0。 目前项目在Github上,地址。打算参考Spork已经做的一些东西,继续Pig on Spark的开发。 Github...
分类:其他好文   时间:2014-04-30 22:15:39    阅读次数:360
【机器学习算法-python实现】逻辑回归的实现(LogicalRegression)
(转载请注明出处:http://blog.csdn.net/buptgshengod) 1.背景知识       在刚刚结束的天猫大数据s1比赛中,逻辑回归是大家都普遍使用且效果不错的一种算法。   (1)回归                先来说说什么是回归,比如说我们有两类数据,各有50十个点组成,当我门把这些点画出来,会有一条线区分这两组数据,我们拟合出这个曲线(因为很有可能是非...
分类:编程语言   时间:2014-04-30 22:15:39    阅读次数:454
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!