在上一篇文章[关于大数据的查询与导出]中,提到了使用NPOI组件导出Excel,本想上次一起分享给大家,无奈最近比较忙,今天抽空整理了下,分享出来. 预置填充模板,并且需要支持公式计算; 可导入图片; 可以追加数据形式填充表格. 简单分一下这个功能. 需要处理模板的读取,并根据模板中指定特定适配符替 ...
分类：
其他好文 时间：
2016-06-08 10:45:12
阅读次数：
316
上周末,帮朋友处理了一个关于大数据的查询与导出问题,整理一下,在此记录一下用以备忘,同时也为有类似需要的朋友提供一个参考. 背景: 数据库服务使用: SqlServer2008 ; 查询的流水表总数据量约在 800W 条左右 ; 需要展示的字段需要从流水表+基础资料表中 导出需要 加载指定模板 ; ...
分类：
其他好文 时间：
2016-05-31 08:51:06
阅读次数：
256
关于大数据量处理方法： 1、应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 2、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 3、应尽量避免在 where 子句中对字段进行 null 值判断，否 ...
分类：
数据库 时间：
2016-04-19 12:10:07
阅读次数：
232
最近一个项目，关于大数据的改造项目，底层选择Impala还是sparkSQL呢？ 最后选择Impala.这样就开启了我的Impala学习之旅。我大部分负责Imapa接口开发工作。 我是控制不住的想整个都了解和学习。所有还在impala控制台各种测试和学习。差不多一两天就熟悉了基本的命令。 开发之前需 ...
分类：
其他好文 时间：
2016-04-01 14:45:52
阅读次数：
162
利用fread优化C++大数据的读取。 因为最近有几个实验需要处理大型数据，因为需要读取的是一千万个double型的数据，虽然不要求快速读取文件数据，但是实在是无法忍受那几十秒钟的停顿。所以上网搜了下关于大数据的处理。 虽然可以利用scanf()提高读取的速度，但还是有几十秒钟的停顿。所以在这里选...
分类：
编程语言 时间：
2015-11-08 14:06:45
阅读次数：
735
大数据流式计算：关键技术及系统实例孙大为1, 张广艳1,2, 郑纬民1摘要：大数据计算主要有批量计算和流式计算两种形态，目前，关于大数据批量计算系统的研究和讨论相对充分，而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域中流...
分类：
其他好文 时间：
2015-10-11 15:19:13
阅读次数：
695
大数据的发展前提
关于大数据的概念其实在1998年已经就有人提出了，但是到了现在才开始有所发展，这些其实都是和当下移动互联网的快速发展分不开的，移动互联网的高速发展，为大数据的产生提供了更多的产生大数据的硬件前提，比如说智能手机，智能硬件，车联网，pda等数据的产生终端。这些智能通过移动通信技术和人们的生活紧密的结合在一起，在人流、车流的背后产生了信息流，也就产生了大量的数据。
...
分类：
其他好文 时间：
2015-08-12 11:42:31
阅读次数：
109
关于大数据，有这样一段话：
“Big data is like teenage sex,everyone talks about it,nobody really knows how to do it,everyone thinks everyone else is doing it,so everyone claims they are doing it.”
看完这句...
分类：
其他好文 时间：
2015-08-08 21:24:58
阅读次数：
130
前几天上了水木社区，发现还是有大牛的，看了关于大数据和数据库的讨论，发现还是蛮有意思的，限于篇幅和版面，我做了部分的整理。 先看看这位人士的分析，对于行业的现状还是很有了解，不是大学教授就是行业先锋。#####################################大数据是一种方案，而不是一...
分类：
数据库 时间：
2015-07-31 14:46:09
阅读次数：
206
