码迷,mamicode.com
首页 >  
搜索关键字:hadoop 生态系统 概述    ( 44117个结果
电商论道---(1)概述
经过一段时间的沉寂,准备把自己工作中用到的技术,设计方案,以及遇到的一些问题拿出来一起与大家分享,讨论。本人从事电商工作多年,同时也非常喜欢电商,愿与在路上的人一起来共同学习。             在接下来的日子里,会写一个系列的随笔,把电商上中用到技术,电商中各个功能模块的设计,以及好的解决方案,整理出来与大家一起交流。之前是学习.NET的,所以用到的技术方面的相关问题,可能会用.NET来...
分类:其他好文   时间:2014-07-22 23:04:53    阅读次数:291
hadoop wordCount运行
本文以康哥的博客为基础进行修改和补充,详见:http://kangfoo.github.io/article/2014/01/hadoop1.x-wordcount-fen-xi/hadoop mapreduce 过程粗略的分为两个阶段: 1.map; 2.redurce(copy, sor...
分类:其他好文   时间:2014-05-02 00:06:57    阅读次数:553
DLL注入
【DLL注入】概述:在目标进程中开辟一块内存,把DLL地址写入,然后通过CreateRemoteProcess调用LoadLibrary引用该内存地址来加载该DLL。1、创建远程线程,此线程需要指定调用的函数地址。通过OpenProcess可以获取目标进程的句柄。 2、通过VirtualAlloc....
分类:其他好文   时间:2014-05-01 21:43:32    阅读次数:520
hadoop技术基本架构
一、Hadoop概述 hadoop由两部分组成,分别是分布式文件系统和分布式计算框架MapReduce。其中,分布式文件系统主要用于大规模数据的分布式存储,而MapReduce 则构建在分布式文件系 统之上,对存储在分布式文件系统中的数据进行分布式计算。 2、在Hadoop 中,MapReduce 底层的分布式文件系统是独立模块,用户可按照约定的一套接口实现自己的分布式文件系统,然后经过简单...
分类:其他好文   时间:2014-05-01 18:34:41    阅读次数:382
数据挖掘十大算法--Apriori算法
一、Apriori 算法概述 Apriori 算法是一种最有影响力的挖掘布尔关联规则的频繁项集的 算法,它是由Rakesh Agrawal 和RamakrishnanSkrikant 提出的。它使用一种称作逐层搜索的迭代方法,k- 项集用于探索(k+1)- 项集。首先,找出频繁 1- 项集的集合。该集合记作L1。L1 用于找频繁2- 项集的集合 L2,而L2 用于找L2,如此下去,直到不能找到 ...
分类:其他好文   时间:2014-05-01 17:50:47    阅读次数:280
HDFS集中式缓存管理(Centralized Cache Management)
Hadoop从2.3.0版本开始支持HDFS缓存机制,HDFS允许用户将一部分目录或文件缓存在HDFS当中,NameNode会通知拥有对应块的DataNodes将其缓存在DataNode的内存当中 集中式缓存管理有着许多显著的优势: 防止那些被频繁使用的数据从内存中清除因为DataNode的缓存由NameNode来管理,applications在做任务安排时可以查询这个缓存的列表,...
分类:其他好文   时间:2014-05-01 17:45:58    阅读次数:379
javaScript Windows相关
javaScript 关于Windows 1 Windows 对象 所有浏览器都支持 window 对象。它表示浏览器窗口。 所有 JavaScript 全局对象、函数以及变量均自动成为 window 对象的成员。 全局变量是 window 对象的属性。 全局函数是 window 对象的方法。 window.document.getElementById("header"); 2...
分类:编程语言   时间:2014-04-30 22:27:39    阅读次数:499
MapReduce 编程模型
一、简介 1、MapReduce 应用广泛的原因之一在于它的易用性。它提供了一个因高度抽象化而变得异常简单的编程模型。 2、从MapReduce 自身的命名特点可以看出,MapReduce 由两个阶段组成:Map 和Reduce 。用户只需编写map ( ) 和reduce( ) 两个函数,即可完成简单的分布式程序的设计。   1)m a p ( ) 函数以key/value 对作为输入,产...
分类:其他好文   时间:2014-04-30 22:23:39    阅读次数:466
触摸屏驱动三部曲之硬件原理
触摸屏驱动三部曲概述 1.触摸屏驱动三部曲之硬件原理 写好一个驱动,一定要对硬件有所了解,这节我会讲解触摸屏的基础知识和电阻触摸屏的原理。 2.触摸屏驱动三部曲之输入子系统 输入子系统在驱动中占着举足轻重的位置,按键,触摸屏,鼠标等输入型设备都可以利用input接口函数来实现设备驱动。想知道具体怎么实现的就来看这节吧。 3.触摸屏驱动三部曲之功能实现及优化 ...
分类:其他好文   时间:2014-04-30 22:15:39    阅读次数:359
创建Hive/hbase相关联的表异常
FAILED: Error in metadata: java.lang.RuntimeException: MetaException(message:org.apache.hadoop.hive.serde2.SerDeException org.apache.hadoop.hive.hbase.HBaseSerDe: columns has 3 elements while hbase.columns.mapping has 4 elements (counting the key if implic...
分类:其他好文   时间:2014-04-29 13:17:21    阅读次数:387
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!