码迷,mamicode.com
首页 >  
搜索关键字:大数据 sqoop 数据处理    ( 17411个结果
开源项目记录
数据存储 MongoDb 针对大数据量、高并发、弱事务的互联网应用 MemCache 简单的key-value存储,读取内存,效率高 Redis 可存储list,持久化,内存读取效率高 Cassandra 分布式数据库,更好的扩展性,对大数据更好的支持 http://www.ibm...
分类:其他好文   时间:2014-07-15 08:00:42    阅读次数:220
(转)NoSQL系列:选择合适的数据库
内容目录:为什么使用NoSQL数据库?键值数据库文档数据库列族数据库图数据库附思维导图参考NoSQL系列:选择合适的数据库为什么使用NoSQL数据库?阻抗失衡 关系模型和内存中的数据结构不匹配 采用更为方便的数据交互方式提升开发效率 待处理的数据量很大 数据量超过关...
分类:数据库   时间:2014-07-15 00:40:27    阅读次数:388
WebService处理大数据量数据
在通过WebService处理大数据量数据时出现如下错误:soap fault: 运行配置文件中指定的扩展时出现异常。 ---> 超过了最大请求长度。解决方法:因为上传的文件大于系统默认配置的值,asp.net web service默认的请求长度是4M。1、针对单个项目,只需修改Web.confi...
分类:Web程序   时间:2014-07-14 23:28:05    阅读次数:249
FineReport实现java报表参数查询的效果图
Java报表-参数联动与自动查询 Java报表-大数据量查询 Java报表-动态列查询 Java报表-复选框多值查询 Java报表-供应商信息模糊查询 Java报表-库存查询每页显示固定 Java报表-下拉树与动态显示查询 Java报表-自定义时间段查询...
分类:编程语言   时间:2014-07-14 17:10:21    阅读次数:385
关于webservice大数据量传输时的压缩和解压缩
当访问WebSerivice时,如果数据量很大,传输数据时就会很慢。为了提高速度,我们就会想到对数据进行压缩。首先我们来分析一下。 当在webserice中传输数据时,一般都采用Dataset进行数据传输。执行的过程就是先把Dataset转化为xml进行传输,Dataset转化为xml的格式如下:[...
分类:Web程序   时间:2014-07-14 15:40:01    阅读次数:309
海量数据处理方法
1.hashing适用范围:快速查找,删除的基本数据结构,通常需要总数据量可以放入内存。这里的hashing和 hashmap是不一样的概念,这里的hash指的是hashtable,可以看例子:(比较两个字符串的包含问题)问题实例: 1).海量日志数据,提取出某日访问百度次数最多的那个IP。 ...
分类:其他好文   时间:2014-07-14 15:01:28    阅读次数:227
一个有意思的需求——中文匹配度
引言 最近LZ带头在做一个互联网项目,互联网的东西总是那么新鲜,这也难怪大部分猿友都喜欢互联网。这个互联网项目不仅让LZ开发了一个HBase大数据应用,近期的一次需求讨论会上,又出来一个小需求,蛮有意思的。这些需求在之前枯燥的企业内部应用开发中,还是很难见到的,毕竟内部应用更多的是业务流程的体现。....
分类:其他好文   时间:2014-07-13 19:13:57    阅读次数:266
MySQL数据处理函数
数据处理函数 有时从数据库表中获取到的数据需要进行一些处理。如将小写字母替换为相应的大写字母。这个处理过程可以在客户机上进行,也可以在数据库上进行。数据库上进行会更高效。数据库中有相应的数据处理函数来处理这些数据,但是在SQL中使用特殊的数据处理函数会降低其可移植性。不同的DBMS系统,其数据处理函数不同。 大多数的SQL支持以下类型的函数 用于处理文本串的函数,如删除、填充...
分类:数据库   时间:2014-07-13 18:07:58    阅读次数:273
蔡先生论道大数据之九: 要的就是"快"
前面几章节谈论了企业如何利用大数据帮助企业建立精准营销模型,大家了解了"大数据"\"小数据",那么数据本身的问题解决了,今天我说一下另外一个非常重要的概念,就是"即时性"。可以说大数据最重要的意义之一是解决了营销上的“实时性”问题,在当下手机、平板多屏运作,快速处理用..
分类:其他好文   时间:2014-07-13 15:18:57    阅读次数:183
storm 大牛博文
csdn博客关注大数据~新浪博客黄崇远-技术博客
分类:其他好文   时间:2014-07-13 14:43:43    阅读次数:194
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!