码迷,mamicode.com
首页 >  
搜索关键字:大数据 sqoop 数据处理    ( 17411个结果
[JS][easyui]jQuery EasyUI Datagrid VirtualScrollView视图简单分析
?? 大家都知道EasyUI的Datagrid组件在加载大数据量时的优势并不是很明显,相对于其他一些框架,如果数据量达到几千,便会比较慢,特别是在IE下面。针对这种情况,我们首要做的是要相办法优化datagrid组件的各方面性能,不过任何事情都是可以变通解决的,virtualScrollView就是一种不错的解决方案。 virtualScrollView的准则就是尽量少画tr到table里,表...
分类:Web程序   时间:2014-07-22 22:49:13    阅读次数:334
解决CodeIgniter大量查询sql时占用内存大问题
最近的项目上面做大数据插入时总提示内存超出限制 不管怎样unset结果内存仍然很大! 最终发现是CI的机制导致,只要关闭掉问题解决了 $this->db->save_queries = FALSE; 它会把所有执行的SQL保存一份在内存做调试;...
分类:数据库   时间:2014-07-22 08:16:37    阅读次数:251
我的大数据实践之路-洗脑篇
1. 什么是大数据 五个简单故事告诉你什么是“大数据” 2.如何看待大数据 要全体不要抽样,要效率不要绝对精确,要相关不要因果 3.大数据能干什么 通过用户的使用习惯来预判用户的行为 4.大数据应用场景...
分类:其他好文   时间:2014-07-22 08:13:36    阅读次数:178
ThinkPHP学习笔记 事务处理
事务处理是数据库数据处理中经常用到的一个功能,特别是商务之类的应用,比如a给b打了钱,数据库中a的钱数应该减少,b的钱数应该增加, 若a数据操作成功,而b的数据因某些原因操作失败,这...
分类:Web程序   时间:2014-07-21 10:22:24    阅读次数:294
大数据三特点的理解
写这篇文章始于对维克托前辈《大数据时代》的理解与思考,大数据的浪潮已经一波一波地拍打在中国的土地上,各行各业都在积极的探索与这一技术的接轨 和发展的机遇,所以能够见证并亲历这一个变革技术的时代我们这一代是幸运的。之所以说大数据时代是一次变革,不光是其技术进步所带来的,其伴随的思维冲击 与变革也是前所...
分类:其他好文   时间:2014-07-21 10:13:34    阅读次数:226
webservice传递特殊字符时的解决的方法
webservice soap报文是xml格式交互的,当中针对特殊字符传递无法解析,导致数据处理失败。解决的方法例如以下:1、在发送报文之前,针对报文进行base64转码,转义后避免报文中含有特殊字符。标准base64中是以%开头的,假设存储到数据库中,并进行查询sql中,会解析成通配符,这样会报错...
分类:Web程序   时间:2014-07-21 09:11:47    阅读次数:508
大数据思维
本周也没有学习到什么内容。跟自己相关的云计算的课还排在周日。就俗一点,也来谈谈什么是大数据思维。笼统地来说,是一种思维方式。也是一种考虑问题的逻辑结构。简单一点来说,就是根据已知推断未来的过程。复杂一点就是,根据大量的已知条件,通过相应的祛伪存真,然后根据..
分类:其他好文   时间:2014-07-20 10:35:27    阅读次数:179
Sqoop从DB2导出数据出错:ERRORCODE=-4499, SQLSTATE=08001
Sqoop执行命令:./sqoopimport--connect"jdbc:db2://10.105.4.55:50001/SCCRM55"--usernamedb2inst1--passworddb2opr2010--tableWF_4G_BILLDETAIL_NEW_20140717--fetch-size1000-m1--target-dir/ext/ods/ODS_RPT_DAY_DET/20140717_1--fields-terminated-by‘&‘--lines-termi..
分类:数据库   时间:2014-07-19 18:16:00    阅读次数:550
ARM指令集的概述
ADC  addition Carry 带进位的加法指令   数据处理类算术运算指令 ADD addition 加法指令 数据处理类算术运算指令 AND logic and 逻辑与 数据处理类算术运算指令 B Branch B 是最简单的分支。一旦遇到一个 B 指令,ARM 处理器将立即跳转到给定的地址,从那里继续执行。注意存储在分支指令中的实际的值是相对当前的 R15 的值的一...
分类:其他好文   时间:2014-07-19 11:43:44    阅读次数:255
sqoop 从mysql导入hive的字段名称问题
hive中有些关键字限制,因此有些字段名称在mysql中可用,但是到了hive就不行。比如order必须改成order1, 下面列出了我们发现的一些不能在hive中使用的字段名称order  => order1sort => sort1reduce => reduce1cast => cast1directory => directory1...
分类:数据库   时间:2014-07-19 11:33:04    阅读次数:263
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!