这篇文章不提原理,讲讲hadoop及其周边项目的作用。hadoop这个词已经流行好多年了,一提到大数据就会想到hadoop,那么hadoop的作用是什么呢?官方定义:hadoop是一个开发和执行处理大规模数据的软件平台。核心词语是平台,也就是说我们有大量的数据,又有好几个电脑,我们知道应该把处理数据...
分类:
其他好文 时间:
2014-07-19 21:30:03
阅读次数:
179
大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来。为了能够更好的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师选择合适的技术,了解大数据各种技术之间的关系,选择合适的语言。 我们可以带着下面问题来阅读本文章: 1...
分类:
其他好文 时间:
2014-07-19 21:05:50
阅读次数:
236
用oracle账号登陆ORACLE数据库服务器
方法一:
查看表空间的名字及文件所在位置:
select tablespace_name, file_id, file_name,round(bytes/(1024*1024),0) total_space
from dba_data_files order by tablespace_name;
修改数据库dat...
分类:
数据库 时间:
2014-07-18 22:24:47
阅读次数:
435
从hive将数据导出到mysqlhttp://abloz.com2012.7.20author:周海汉在上一篇文章《用sqoop进行mysql和hdfs系统间的数据互导》中,提到sqoop可以让RDBMS和HDFS之间互导数据,并且也支持从mysql中导入到HBase,但从HBase直接导入mysq...
分类:
数据库 时间:
2014-07-18 20:00:07
阅读次数:
482
又想速度快,又要大数据,又要保证数据不出错,还要拥抱变化,改需求的时候不那么痛苦,特别是字段的调整,按照以前的做法,想想就头疼。使用NoSQL,简直就是随心所欲,再奇葩的数据结构,处理起来也很容易。下面看我如何用NoSQL数据库实现高并发,高可靠的CRM系统。
分类:
数据库 时间:
2014-07-18 19:07:48
阅读次数:
419
一、GDataXMLNode说明GDataXMLNode是Google提供的用于XML数据处理的类集。该类集对libxml2--DOM处理方式进行了封装,能对较小或中等的xml文档进行读写操作且支持XPath语法。使用方法: 1、获取GDataXMLNode.h/m文件,将GDataXMLNode....
分类:
移动开发 时间:
2014-07-18 15:31:09
阅读次数:
210
-“如果我们说另一种不用的语言,那么我们就会发觉一个有些不同的世界”
1. 用引用操纵对象
每种编程语言都有自己的数据处理方式。有些时候,程序员必须时刻留意准备处理的是什么类型。您曾利用一些特殊语法直接操作过对象,或处理过一些间接表示的对象吗(C或C++里的指针)?
所有的这一切在JAVA里都得到了简化。在JAVA里一切都被视为对象,尽管是一切都被看成对象,但操纵的标识...
分类:
编程语言 时间:
2014-07-18 11:06:11
阅读次数:
200
转自http://blog.csdn.net/moshengtan/article/details/8990052
1 Web负载均衡
1.1 - 使用商业硬件实现
最常用的F5 与citrix netscaler。比如12306前端的web好像用的就是F5 的BIGIP。如果公司资金足够的话,相对使用开源软件来说理方便。
优点:维护方便,性能稳定
缺点:费用太高
...
分类:
Web程序 时间:
2014-07-17 19:30:38
阅读次数:
325
美国零售商Target在基于购买记录分析的基础上,分析出一位少女怀孕,进而推送孕期相关的产品广告到这户人家,这位少女的父亲对此颇为不满。当然,最后证明他女儿真怀孕了,这位父亲也颇为尴尬。基于过去销售记录进行预测,并非需要大数据技术,传统的BI也许就能解决,但这个妇..
分类:
其他好文 时间:
2014-07-17 10:28:42
阅读次数:
214
在前面的博文实践记录之-Rsync镜像备份介绍了镜像备份工具Rsync的安装和使用.但在大数据时代,rsync的不足之处也暴露出来.首先.rsync本身实现不了实时备份.靠系统的crontab实现的话也受限于1分钟.因此这就导致了服务端和客户端数据可能出现不一致,更无法在应用故障时做到..
分类:
其他好文 时间:
2014-07-16 16:44:36
阅读次数:
391