大数据的热门使得很多人都想往这个方向发展，做一些像数据挖掘，数据分析之类的工作。但是该从何开始呢？要怎样才能快速学到一些有用的知识，技能呢？我觉得有三个切入点，依照个人特点可以自行选择顺序切入。...
分类：
其他好文 时间：
2014-05-22 10:33:54
阅读次数：
232
C/C++大文件/数据网络传输方法总结
在C/C++网络编程中不免会遇到需要传输大数据、大文件的情况，而由于socket本身缓冲区的限制，大概一次只能发送4K左右的数据，所以在传输大数据时客户端就需要进行分包，在目的地重新组包。而实际上已有一些消息/通讯中间件对此进行了封装，提供了直接发送大数据/文件的接口；除此之外，利用共享目录，ftp，ssh等系统命令来实现大文件/数据也不失...
分类：
编程语言 时间：
2014-05-22 09:14:45
阅读次数：
435
本人最近在用ujmp包写一些程序，ujmp包是针对于超大数据量计算的矩阵的运算包，并且有图形显示的功能且支持多种文件格式的读取和输出，还支持连接数据库，matlab数据类型和weka数据类型，总体来说非常好用，但是有一个很大的缺陷就是基本没有相关的示例和文档，官网上的示例有基本全都过时不能用了，本人...
分类：
编程语言 时间：
2014-05-22 01:35:09
阅读次数：
525
JSP开发模式
jsp开发模式的发展
1.模式1：（适合小型项目的技术的开发）
a.第一版本，纯jsp（封装数据，处理数据，显示数据）
b.第二版本，Jsp+JavaBean.
jsp:收集数据，显示数据
JavaBean：封装、处理
2.模式2：servlet+Jsp+JavaBean（是mvc在java中的具体的实现，是java...
分类：
编程语言 时间：
2014-05-21 17:03:21
阅读次数：
406
使用Hadoop已经有一段时间了，从开始的迷茫，到各种的尝试，到现在组合应用….慢慢地涉及到数据处理的事情，已经离不开hadoop了。Hadoop在大数据领域的成功，更引发了它本身的加速发展。现在Hadoop家族产品，已经达到20个了之多。
有必要对自己的知识做一个整理了，把产品和技术都串起来。不仅能加深印象，更可以对以后的技术方向，技术选型做好基础准备。
一句话产品介绍:...
分类：
其他好文 时间：
2014-05-21 16:37:02
阅读次数：
363
最近上头给我派了一个活，oracle数据导入excel，接任务的时候，我感觉比较轻松，心里想，这很简单，三下五除二，一个上午就可以搞定，因为之前实现过嘛！
但是程序在加上“大数据”烙印之后，就不是那么简单的一回事了，实现过程中，出现最常见的两个问题：超出行数限制和内存溢出！
18天的数据，总共是500w条，如何将500w条记录存入excel中，我当时想过两种实现方式：PLSQL...
分类：
其他好文 时间：
2014-05-21 15:59:54
阅读次数：
307
本地管理表空间中设置不同大小的db_block_size时数据文件头保留空间对应如下：--？？
db_block_size=2KB，文件头保留32个数据块，即64KB。
db_block_size=4KB，文件头保留16个数据块，即64KB。
db_block_size=8KB，文件头保留8个数据块，即64KB。
db_block_size=16KB，文件头保留4个数据块，即64KB。...
分类：
数据库 时间：
2014-05-21 08:27:08
阅读次数：
529
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase,
Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie,
Cassandra, Hama, Whirr,...
分类：
其他好文 时间：
2014-05-21 05:55:45
阅读次数：
280
WindowsAzure目前在全球有八大数据中心(美国西部，美国东部，美国中北部，美国中南部，北欧，西欧，东亚，南亚)。还有中国南北两个数据中心。每个数据中心都由若干个"容器"组成，"容器"的内部是集群(cluster)和机架(rack)。每一个容器都有特定的服务，比如计算和存储，SQLDatab..
因为用的hadoop2.20所以下载sqoop-1.99.3-bin-hadoop200使用随便找一个hadoopnode节点做sqoopserver:1.下载安装[hadoop@slave1~]$wgethttp://mirror.bit.edu.cn/apache/sqoop/1.99.3/sqoop-1.99.3-bin-hadoop200.tar.gz[hadoop@slave1~]$tarxvfsqoop-1.99.3-bin-hadoop200.tar...
分类：
其他好文 时间：
2014-05-21 00:01:45
阅读次数：
439
