码迷,mamicode.com
首页 >  
搜索关键字:大数据 sqoop 数据处理    ( 17411个结果
SQL行转列
之前在处理数据时,没有考虑过使用行转列,更多的是使用创建临时表,用过之后销毁,今天碰到了棘手的问题,采用临时表很复杂,所以采用行转列来实现。先描述一下问题,当下做的人事考核系统中,分为上半年、下半年的考核,考核类型有多种,查询出来的数据如下:可以看出来,这样数据处理的效果并不好,而从MSSQL200...
分类:数据库   时间:2014-05-08 18:26:31    阅读次数:343
JAVA IO流详解
一、流的概念和作用。 流是一种有顺序的,有起点和终点的字节集合,是对数据传输的总成或抽象。即数据在两设备之间的传输称之为流,流的本质是数据传输,根据数据传输的特性讲流抽象为各种类,方便更直观的进行数据操作。 二、IO流的分类。 根据数据处理类的不同分为:字符流和字节流。 根据数据流向不同分为:输入流和输出流。 三、字符流和字节流。 字符流的由来:因为数据编码的不同,而有了对字符进行高效...
分类:编程语言   时间:2014-05-08 17:19:38    阅读次数:510
大数据
大数据是一个体量特别大,数据类别特别大的数据集。也就是说“大数据”本身并不是一种新的技术,也不是一种新的产品, 而是我们这个时代出现的一种现象。而这个“大”达到了一种什么样的程度呢?可以说他即将突破现有常规软件所能提供的能力极限。 综上所述,我们觉得使用麦肯锡的定义可能会更为简洁明了:大数据是指无法...
分类:其他好文   时间:2014-05-08 12:30:00    阅读次数:301
微信公众平台消息接口开发-封装weixin.class.php(转)
一、封装weixin.class.php由于微信公众平台的通信使用的是特定格式的XML数据,每次接受和回复都要去做一大堆的数据处理。我们就考虑在这个基础上做一次封装,weixin.class.php,代码如下:token = $token;$this->debug = $debug;} //...
分类:微信   时间:2014-05-08 09:43:33    阅读次数:784
《R语言实战》学习笔记fifth
总算到了第5章—高级数据管理了啊作为这本书第一部分—入门的收官之章,本章还是挺重要的呢这章可以分为三个部分,第一部分:快速浏览R 中的多种数学、统计和字符处理函数,第二部分:如何编写函数来完成数据处理和分析任务,第三部分:了解数据的整合和概数方法,以及数据集的重塑和重构方法> 学生姓名 数学 科.....
分类:其他好文   时间:2014-05-08 07:45:26    阅读次数:533
《大型网站技术架构》1:概述
参考自《大型网站技术架构》第1~3章 1、大型网站架构演化发展历程 (1)初始阶段的网站架构:一台服务器分别作为应用、数据、文件服务器 (2)应用服务和数据服务分离:三台服务器分别承担上述三项工作,其中应用服务器要求CPU强大、数据库服务器需求更快的硬盘和内存,文件服务器需要较大的硬盘。 (3)使用缓存改善网站性能:分为本地缓存以及缓存在专门的分布式服务器上的远程缓存。 (4)使...
分类:Web程序   时间:2014-05-08 04:42:48    阅读次数:430
高精度之大数除法
高精度之大数的除法,大数据计算c语言一样强大...
分类:其他好文   时间:2014-05-08 04:27:19    阅读次数:281
性能调优
大数据量引起的高并发处理: 1、数据量超过百万时增加集群服务器,比如使查询和操作分别在不同服务器上执行,如果数据量超过千万时这样会增加服务器间相互复制数据的资源开销,这时考虑把数据资源比如用户表根据ID放在不同的数据库集群中。 2、是页面静态化,因为html比jsp更节省资源和性能,考虑将页面做成html返回给客户,比如用freemarker工具 3、缓存技术,集群中采用memcached...
分类:其他好文   时间:2014-05-08 04:18:07    阅读次数:361
推荐一本大数据的书籍,非技术类
因为关注大数据,也写过若干关于大数据的文章,做过若干关于大数据的演讲,所以对有关这一主题的论文和书籍非常有兴趣。过去几年,在这方面读过十几本书,上百篇论文和文章。相对而言,舍恩伯格的《大数据时代》是迄今为止我读过的最好的一本专著,中英文都算上。此书的一大贡..
分类:其他好文   时间:2014-05-07 15:24:59    阅读次数:226
内存数据库
内存数据库,顾名思义就是将数据放在内存中直接操作的数据库。相对于磁盘,内存的数据读写速度要高出几个数量级,将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。同时,内存数据库抛弃了磁盘数据管理的传统方式,基于全部数据都在内存中重新设计了体系结构,并且在数据缓存、快速算法、并行操作方面也进行了相应的改进,所以数据处理速度比传统数据库的数据处理速度要快很多,一般都在10倍以上。内存数据库的最大...
分类:数据库   时间:2014-05-07 12:30:30    阅读次数:382
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!