批处理，可以大幅度提升大量增、删、改的速度，就是对大数据操作有很大的效率提升。
与上篇文章中提到的“连接池”相似。其实就是先将多次操作（增删改）打包，然后再一次发送执行
主要用到两个方法：
Ø 打包：PreparedStatement.addBatch();
Ø 发送、执行：PreparedStatement.executeBatch();
下面看做同一...
分类：
编程语言 时间：
2014-05-22 10:35:51
阅读次数：
302
这篇文章不提原理，讲讲hadoop及其周边项目的作用。
hadoop这个词已经流行好多年了，一提到大数据就会想到hadoop，那么hadoop的作用是什么呢？
官方定义：hadoop是一个开发和运行处理大规模数据的软件平台。核心词语是平台，也就是说我们有大量的数据，又有好几个电脑，我们知道应该把处理数据的任务分解到各个电脑上，但是不知道怎样分配任务，怎样回收结果，hadoop大概就帮助我们做了...
分类：
其他好文 时间：
2014-05-22 10:34:39
阅读次数：
288
大数据的热门使得很多人都想往这个方向发展，做一些像数据挖掘，数据分析之类的工作。但是该从何开始呢？要怎样才能快速学到一些有用的知识，技能呢？我觉得有三个切入点，依照个人特点可以自行选择顺序切入。...
分类：
其他好文 时间：
2014-05-22 10:33:54
阅读次数：
232
C/C++大文件/数据网络传输方法总结
在C/C++网络编程中不免会遇到需要传输大数据、大文件的情况，而由于socket本身缓冲区的限制，大概一次只能发送4K左右的数据，所以在传输大数据时客户端就需要进行分包，在目的地重新组包。而实际上已有一些消息/通讯中间件对此进行了封装，提供了直接发送大数据/文件的接口；除此之外，利用共享目录，ftp，ssh等系统命令来实现大文件/数据也不失...
分类：
编程语言 时间：
2014-05-22 09:14:45
阅读次数：
435
本人最近在用ujmp包写一些程序，ujmp包是针对于超大数据量计算的矩阵的运算包，并且有图形显示的功能且支持多种文件格式的读取和输出，还支持连接数据库，matlab数据类型和weka数据类型，总体来说非常好用，但是有一个很大的缺陷就是基本没有相关的示例和文档，官网上的示例有基本全都过时不能用了，本人...
分类：
编程语言 时间：
2014-05-22 01:35:09
阅读次数：
525
疯狂猜成语-----四周第二次站立会议参会人员：杨霏，袁雪，胡潇丹，郭林林，尹亚男，赵静娜会议内容：在寻找用户过程中，在自己的内部测试体验过程中出现了一小部分bug，所以用户体验推迟。出现的问题：1、用户登录后，用户资料不够完善2、游戏的数据量比较少，需要再一次加大数据量3、高级游戏出现多个结果，与...
分类：
其他好文 时间：
2014-05-21 17:43:14
阅读次数：
257
使用Hadoop已经有一段时间了，从开始的迷茫，到各种的尝试，到现在组合应用….慢慢地涉及到数据处理的事情，已经离不开hadoop了。Hadoop在大数据领域的成功，更引发了它本身的加速发展。现在Hadoop家族产品，已经达到20个了之多。
有必要对自己的知识做一个整理了，把产品和技术都串起来。不仅能加深印象，更可以对以后的技术方向，技术选型做好基础准备。
一句话产品介绍:...
分类：
其他好文 时间：
2014-05-21 16:37:02
阅读次数：
363
最近上头给我派了一个活，oracle数据导入excel，接任务的时候，我感觉比较轻松，心里想，这很简单，三下五除二，一个上午就可以搞定，因为之前实现过嘛！
但是程序在加上“大数据”烙印之后，就不是那么简单的一回事了，实现过程中，出现最常见的两个问题：超出行数限制和内存溢出！
18天的数据，总共是500w条，如何将500w条记录存入excel中，我当时想过两种实现方式：PLSQL...
分类：
其他好文 时间：
2014-05-21 15:59:54
阅读次数：
307
本地管理表空间中设置不同大小的db_block_size时数据文件头保留空间对应如下：--？？
db_block_size=2KB，文件头保留32个数据块，即64KB。
db_block_size=4KB，文件头保留16个数据块，即64KB。
db_block_size=8KB，文件头保留8个数据块，即64KB。
db_block_size=16KB，文件头保留4个数据块，即64KB。...
分类：
数据库 时间：
2014-05-21 08:27:08
阅读次数：
529
WindowsAzure目前在全球有八大数据中心(美国西部，美国东部，美国中北部，美国中南部，北欧，西欧，东亚，南亚)。还有中国南北两个数据中心。每个数据中心都由若干个"容器"组成，"容器"的内部是集群(cluster)和机架(rack)。每一个容器都有特定的服务，比如计算和存储，SQLDatab..
