码迷,mamicode.com
首页 >  
搜索关键字:reduce    ( 2830个结果
Essential controls for web app
AUTO-COMPLETE/AUTO-SUGGESTAuto-complete using VaadinOffer auto-suggest or auto-complete to help your users increase efficiency and reduce errors. You ...
分类:移动开发   时间:2015-06-23 07:35:34    阅读次数:561
每天收获一点点------Hadoop概述
一、Hadoop来历 Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明了倒排索引算法,通过加入了Map-reduce的思想来计算Page Rank,通过不断的演变Google带给我们了GFS、Map-....
分类:其他好文   时间:2015-06-22 19:16:19    阅读次数:126
Oracle的SQL优化二
收到开发提交的一条SQL,在高并发下较慢,看能否做一些优化: 该SQL是1个表对另一个表做Left join,首先执行下看看, SQL> select l.vcno,opttype,add_points,optdate,remark,memid,id,FAMILYID,create_Username,billno,billtype,billsubcase,reduce_Points, l.ad...
分类:数据库   时间:2015-06-21 02:07:15    阅读次数:170
hive如何应对数据倾斜
数据倾斜 概念:数据倾斜是指,map /reduce程序执行时,reduce节点大部分执行完毕,但是 有一个或者几个reduce节点运行很慢,导致整个程序的处理时间很长,这是因为某一 个key的条数比其他key多很多(有时是百倍或者千倍之多),这条key所在的reduce 节点所处理的数据量比其他节点就大很多,从而导致某几个节点迟迟运行不完。 执行操作:   1...
分类:其他好文   时间:2015-06-20 11:56:58    阅读次数:131
单机安装Hadoop环境
目的 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等。 先决条件 支持平台 GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/L...
分类:其他好文   时间:2015-06-19 21:33:11    阅读次数:133
两款高性能并行计算引擎Storm和Spark比较
来自http://blog.csdn.net/iefreer/article/details/32715153 Spark基于这样的理念,当数据庞大时,把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储(或缓存)它的数据集,然后任务被提交给节点。 所以这是把过程传递给数据。这和Hadoop map/reduce非常相似,除了积极使用内存来避免I/O操作,以使得迭代算法...
分类:其他好文   时间:2015-06-19 10:27:38    阅读次数:90
[转]HIVE UDF/UDAF/UDTF的Map Reduce代码框架模板
FROM :http://hugh-wangp.iteye.com/blog/1472371自己写代码时候的利用到的模板UDF步骤:1.必须继承org.apache.hadoop.hive.ql.exec.UDF2.必须实现evaluate函数,evaluate函数支持重载Java代码package...
分类:其他好文   时间:2015-06-18 23:47:50    阅读次数:138
本文摘录 - FlumeJava
本文节选不保证论文的完整性和理解的准确性原始的MapReduce。分Map,Shuffle,Reduce。Map里包含shards。Shuffle理解为groupByKey的事情。Reduce里包含Combiner,能够定义Sharder来控制key怎么和Reducer worker相应起来。核心抽...
分类:编程语言   时间:2015-06-18 23:41:02    阅读次数:181
TripWire公司威胁情报产品做了什么
原文链接:Threat Intelligence: Reduce the Gap无论如何,面对安全威胁事件,有三个方面必须考虑: 检测 应急响应 预防 ADVANCED MALWARE IDENTIFICATION TO QUICKLY IDENTIFY POTENTIAL THREATS(高级恶意代码鉴别,快速鉴定潜在威胁)从简单的产品介绍来看,主要按照以下图示工作: information...
分类:其他好文   时间:2015-06-18 17:27:59    阅读次数:245
JavaScript随笔之——函数用法
1、reduce函数用法: $(function(){ // arrowMouseOver(); Array.prototype.reduce=null; //将内置reduce函数设置为null var eleResult=document.getElementById("re...
分类:编程语言   时间:2015-06-17 11:07:06    阅读次数:153
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!