select*from(selectrownumr,a.*from(select*fromtable_nameorderbyndatetimedesc)awhererownum(currentPage-1)*pageSize
分类：
数据库 时间：
2014-06-09 22:55:20
阅读次数：
247
COBOL（CommonBusinessOrientedLanguage）——是数据处理领域最为广泛的程序设计语言，是第一个广泛使用的高级编程语言。在企业管理中，数值计算并不复杂，但数据处理信息量却很大。为专门解决经企管理问题，于1959年，由美国的一些计算机用户组织设计了专用于商务处理的计算机语言...
分类：
其他好文 时间：
2014-06-09 21:21:00
阅读次数：
436
Map-reduce是一种优雅的数据处理方式，本文通过三个例子介绍如何用python在linux的管道进行map-reduce编程，本文写的所有map-reduce程序都可以原封不动的放在Hadoop下运行，很容易在大数据集上扩展。
分类：
其他好文 时间：
2014-06-09 19:11:44
阅读次数：
253
百亿数量级的大数据项目，软硬件总体预算只有30万左右，需求是进行复杂分析查询，性能要求多数分析请求达到秒级响应。
遇到这样的项目需求，预算不多的情况，似乎只能考虑基于Hadoop来实施。
理论上Hadoop撑住百亿数量级没问题，但想要秒级响应各种查询分析就不行了。我们先大概分析一下Hadoop的优缺...
分类：
其他好文 时间：
2014-06-09 14:32:39
阅读次数：
509
在做ACM 1002题时，整理得到。#include#include#define MAX
1000void zero(char *s,int len){ int i; for(i=0;i20) ; for(i=0;iblen?alen:blen;
for(j=0;j=0)&&(j>=0);j--....
分类：
编程语言 时间：
2014-06-09 14:10:01
阅读次数：
328
前言为啥写这篇文章？因为我现在做的这套实时计算系统在公司里很难玩下去了。去年年初来到ctrip，主要就是做两个实时应用，一个是实时报警，功能是做出来了，但应用效果不好；一个是XXX（敏感应用，不敢写出来，以XXX代替），也是实现了功能需求，但想继续按自己的思路往下走是不可能了，我捉急的表达能力很难让...
分类：
其他好文 时间：
2014-06-09 13:02:27
阅读次数：
676
使用sqoop将MySQL数据库中的数据导入Hbase
前提：安装好 sqoop、hbase。
下载jbdc驱动：mysql-connector-java-5.1.10.jar
将 mysql-connector-java-5.1.10.jar 复制到 /usr/lib/sqoop/lib/ 下
MySQL导入HBase命令：
sqoop import --connect j...
分类：
数据库 时间：
2014-06-08 08:23:30
阅读次数：
408
在系统日常生产过程中，如何从Oracle数据库同步一些配置表到GP库个问题。
先来说说之前使用的方式：
0. 使用第3方工具从Oracle导出纯文本格式，存放在本地；
1. 使用GP外部表加载入库
这种方式优点是对于需要同步大数据量的表的时候性能非常高；缺点是稍显麻烦，最主要的是非实时的，存在着任务调度周期和导出导入时间周期。
对此我的解决办法是简化整个过程并实时查询：
0. ...
分类：
数据库 时间：
2014-06-08 05:46:35
阅读次数：
251
在测试sqoop语句的时候，一定要限制记录数量，否则就像我刚才，等了1个多小时，才看到测试结果。????sqoop-import --options-file media_options.txt --table my_table --where "ID = 2" --target-dir /user/jenkins/bigdata/import/20140607 -m 1 --fields-ter...
分类：
其他好文 时间：
2014-06-08 04:57:18
阅读次数：
350
今天碰到不少问题，记录一下。分割符的方向问题首先sqoop的参数要小心, 从数据库导出数据，写到HDFS的文件中的时候，字段分割符号和行分割符号必须要用--fields-terminated-by而不能是--input-fields-terminated-by--input前缀的使用于读文件的分割符号，便于解析文件，所以用于从HDFS文件导出到某个数据库的场景。两个方向不一样。参数必须用单引号括起...
分类：
其他好文 时间：
2014-06-08 03:23:09
阅读次数：
289
