这几天一直在帮一个博士做实验，负责的是数据处理这部分的东西。因为用python做数据处理时会时常做一些文件操作，所以我学习了一下Python的文件操作。今天刚好有空，就把东西总结一下。 一、打开文件 首先，要对文件进行操作需要打开文件，这里用到了open函数。 f = open(filen...
分类：
编程语言 时间：
2014-07-19 17:23:39
阅读次数：
224
1、通过append方法输出数据到页面/***************************根据企业ID获取企业信息*********************/OBJindexPage.GetNewQiYeInfo = function () { $.getJSON("/Qiye/handl...
分类：
其他好文 时间：
2014-07-19 15:19:18
阅读次数：
302
解决办法： 只能通过一些trick来减小生成的中间矩阵的大小。比如我所遇到的问题是：我要运行(W%*%H%*%t(H)) 这句话，（W的规模是5000000*10，而H的规模是10*100000）解释执行W%*%H的时候报错：不能有负长度矢量。坑爹的中文报错，google发现，和中文有关的R文档、....
分类：
其他好文 时间：
2014-07-19 12:25:50
阅读次数：
206
看牛腩视频有种相见恨晚的感觉，人类真的是很强大，让我们的编程语言越来越简单，实现的功能越来越强大，昨天听一个是个讲关于机房合作的经验，中间提到EA的强大，数据库的设计是越来越简单，EA可以生成代码，可以导出数据库，当时的感觉就是自己的知识真的匮乏，很多没有动手尝试，用一些很笨的方法。触发也是这样，级联的表如果是一个两个还好说，要是一百个（当然这就数据库冗余了，应该没有这样的数据库)，就太麻烦了。编程仍未结束，要实现更好更高效率的，更简单的解决方法是我们的努力方向。...
分类：
其他好文 时间：
2014-07-19 12:02:42
阅读次数：
196
不论是做数据挖掘也好，数据分析，数据可视化也罢，就是把混乱杂糅的数据理清给人看。我经常觉得，如果不能把自己身边的数据“整理清楚”，又怎敢去折腾什么大数据呢？由于一直以来的习惯，我特别热衷于对知识、文件分类整理。例如电脑桌面一定要用fences整理；一定要建立文件夹归纳chrome浏览器的书签；收藏的...
分类：
其他好文 时间：
2014-07-18 17:35:42
阅读次数：
236
最近项目中遇到了存储在HDFS上的数据格式不对，是由于数据中带有\r\n的字符，程序处理的时候没有考虑到这些情况。历史数据大概有一年的时间，需要把错误的数据或者重复的数据给删除了，保留正确的数据，项目中使用Pig来进行数据处理，所以我写了一个UDF的JAVA类去过滤那些错误的数据，把错误的数据和正确...
分类：
其他好文 时间：
2014-07-18 17:33:40
阅读次数：
246
在Activity或者组件之前传递信息时，一般采用intent绑定bundle的方式传值，但在使用过程中需要注意的是不要用bundle传递大容量数据：
在做项目的过程中，需要将听写界面的听写结果信息传递到听写记录界面供显示用，但是由于传递的数据量过大导致程序ANR，甚至直接报异常（传递的信息里面有bitmap转换成的byte数组、每一个词组的拼音、词语、语音信息），经过分析发现是由...
分类：
移动开发 时间：
2014-07-18 14:05:30
阅读次数：
273
每次技术变革企业包括个人都需要做出适应,现在我们处于新一轮实际革命的时代节点上,从小数据时代到大数据时代的前叶.那么企业面对大数据需要做出什么样的变革呢?又存在什么样的挑战呢?首先,决策方式的改变,传统运作管理在变成大数据管理,越来越多的传统决策在变成基于数据分析..
分类：
其他好文 时间：
2014-07-18 13:16:00
阅读次数：
171
Jasey WangLinux operations web老赵点滴.Net 架构 并行云风的BLOGC Lua 游戏编程四火的唠叨java javascript 设计闲思录DBA 前端优化 架构AderethClojure javascriptdirlt大数据 算法 cppLanceyan大数据 ...
分类：
其他好文 时间：
2014-07-18 12:25:10
阅读次数：
347
当hive在执行大数据量的统计查询语句时，经常会出现下面OOM错误，具体错误提示如下：Possible error: Out of memory due to hash maps used in map-side aggregation.Solution: Currently hive.map.ag...
分类：
其他好文 时间：
2014-07-18 11:37:23
阅读次数：
305
