码迷,mamicode.com
首页 >  
搜索关键字:大数据 sqoop 数据处理    ( 17411个结果
多线程之Thread+handler
应用开发中,经常会遇到需要多线程技术的时候,比如UI显示和数据处理分开。在实际应用中经常会遇到这种场景,我们需要新开一个线程来监听数据状态(数据状态的改变,接收数据,发送数据等等),当发现数据状态改变时通知主线程(通过消息机制发送消息到主线程),主线程接收到通知之后进行处理(自定义消息处理接口)。具...
分类:编程语言   时间:2014-06-28 10:09:47    阅读次数:214
HBase的伪分布模式安装
HBase是依赖Hadoop的数据存储系统,可以实现大数据(过亿条记录)的存储,进行并行化处理。在特定的场景下HBase有自己的用武之地。下面讲述如何进行伪分布模式安装1.设置环境变量我使用的HBase版本是hbase-0.94.7-security.tar.gz,安装在机器hadoop0的/usr...
分类:其他好文   时间:2014-06-28 09:46:59    阅读次数:266
JS~模拟表单在新窗口打开,避免广告拦截
说起广告拦截,这应该是浏览器的一个特性,它会将window.open产生的窗口默认为一个广告,将它进行拦截,但有时,这不是我们所希望的,有时,我们就是需要它在客户端的浏览器上弹出一个新窗口,以展示数据处理的更新结果,例如,一个创建商品的预览功能,它需要先保存数据,然后再在新窗口展示最新的信息,这种需...
分类:Web程序   时间:2014-06-27 19:17:22    阅读次数:263
ajax大数据排队导出+进度条
描述 :我们现在有很多数据,分表存放,现在需要有精度条的导出。最后面有完整源码。效果图:点击导出,实现点击导出统计完成之后点击确定前面导出操作简单,从第二个导出操作开始:点击"确定"调用exportCsv函数导出exportCvs函数如下function exportCsv(){ //清除等待的转动...
分类:其他好文   时间:2014-06-27 18:11:43    阅读次数:315
Storm使用入门之引言
过去十年,数据处理领域发生了很大的变化,可以认为是发生了一次革命。MapReduce、Hadoop以及其他相关技术使得在存储和处理我们以前无法想象的大规模数据方面成为可能。然后不幸的是,这些数据处理技术并不是实时系统,而且他们命中注定也不是。无法将Hadoop转换成实时系统,因为实时数据处理和批处理在要求上有本质的不同。 然后,大规模地实时数据处理需求在商业应用上已经越来越迫切。数据处理生态中缺少”实时Hadoop“(即类似于Hadoop在批处理领域的通用解决方案)已经成为一个最大的遗憾。Storm弥补了...
分类:其他好文   时间:2014-06-27 09:04:04    阅读次数:184
STL之容器适配器priority_queue的实现框架
在前面的文章STL之heap相关操作算法中介绍了堆的相关操作算法,由于堆的注意主要作用是用于排序,我们也知道堆排序的时间复杂度为o(nlogn),是一种不稳定的排序算法,利用堆这一数据结构,我们可以很快第获取一个大数据中最大(或最小)的k个数。同时,上篇文章中,也提出了相关heap算法的一些问题...
分类:其他好文   时间:2014-06-27 08:16:59    阅读次数:171
Hadoop的辉煌还能延续多久?
摘要:Hadoop已经成为大数据的代名词。短短几年间,Hadoop从一种边缘技术成为事实上的标准。而另一方面,MapReduce在谷歌已不再显赫。当企业瞩目MapReduce的时候,谷歌好像早已进入到了下一个时代。 Hadoop技术已经无处不在。不管是好是坏,Hadoop已经成为大数据的代名词。短短...
分类:其他好文   时间:2014-06-26 17:02:48    阅读次数:191
GROUP BY
1语句简介编辑GroupBy语句从英文的字面意义上理解就是“根据(by)一定的规则进行分组(Group)”。它的作用是通过一定的规则将一个数据集划分成若干个小的区域,然后针对若干个小区域进行数据处理。2. Group By 的使用:上面已经给出了对Group By语句的理解。基于这个理解和SQL S...
分类:其他好文   时间:2014-06-26 17:00:02    阅读次数:186
胖子哥的大数据之路(12)-三张图告诉你大数据安全方案设计
最近一直很忙,在做一个全国性项目的IT架构,所以一直没有更新,好在算是告一段落,继续努力吧。项目沟通中过程客户反复在强调,大数据的安全性,言下之意,用了大数据,就不安全了,就有漏洞了。所以花了些时间,针对大数据的安全设计做了一个总结,算是阶段性的成果吧,分享给大家。...
分类:其他好文   时间:2014-06-26 10:46:32    阅读次数:242
大数据处理
DMCTextFilter和HTMLFilter数据过滤器我们已经进入了大数据处理时代,需要快速、简单的处理海量数据,海量数据处理的三个主要因素:大容量数据、多格式数据和速度,DMCTextFilter和HTMLFilter是由北京红樱枫软件有限公司研制和开发的纯文本抽出和HTML转换通用程序库产品。本产..
分类:其他好文   时间:2014-06-26 06:34:02    阅读次数:239
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!