码迷,mamicode.com
首页 >  
搜索关键字:hive hadoop 大数据    ( 28941个结果
Hive cli源码阅读和梳理
对Cli的重新认识*). hive cli有两种模式, 本地模式: 采用持有的driver对象来处理, 远程模式: 通过连接HiveServer来实现, 由此可见之前的架构图中的描述还是模糊且带有误导性*). 支持singal的处理支持, 比如对ctrl+c中断, 需要两次才完全退出交互*). 交互...
分类:其他好文   时间:2014-05-01 08:20:07    阅读次数:415
hive如何使用中文查询条件
直接在hql中使用中文会报错:org.apache.hadoop.ipc.RemoteException: java.io.IOException: java.lang.RuntimeException: com.sun.org.apache.xerces.internal.impl.io.Malf...
分类:其他好文   时间:2014-05-01 04:26:42    阅读次数:415
如何把其他数据库中AUTO_INCREMENT约束的字段(如ID)导入Vertica数据库
如果在Vertica数据库在建一张同样带AUTO_INCREMENT约束字段(ID)的表,由于AUTO_INCREMENT约束的限制,COPY导入数据时会发生冲突,导致COPY执行失败。 经过分析研究及测试,先创建SEQUENCE,然后创建表并设置ID字段的缺省值为NEXTVAL('schemaname.sequencename'),就可COPY导入AUTO_INCREMENT约束字段的数据。...
分类:数据库   时间:2014-04-29 13:44:21    阅读次数:409
Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1.99.3安装配置流程
Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1.99.3安装配置流程 一、           配置Hadoop 源码包:hadoop-2.3.0-src.tar.gz 1.     安装以下软件: yum -yinstall  lzo-devel  zlib-devel gcc autoconf automake li...
分类:其他好文   时间:2014-04-29 13:37:20    阅读次数:541
SQL Server表分区详解
什么是表分区 一般情况下,我们建立数据库表时,表数据都存放在一个文件里。 但是如果是分区表的话,表数据就会按照你指定的规则分放到不同的文件里,把一个大的数据文件拆分为多个小文件,还可以把这些小文件放在不同的磁盘下由多个cpu进行处理。这样文件的大小随着拆分而减小,还得到硬件系统的加强,自然对我们操作数据是大大有利的。 所以大数据量的数据表,对分区的需要还是必要的,因为它可以提高s...
分类:数据库   时间:2014-04-29 13:33:20    阅读次数:544
HBase伪分布式安装及简单使用
HBase是Hadoop的数据库,基于Hadoop运行,是一种NoSQL数据库。 特点:分布式、多版本、面向列的存储模型,能够大规模的数据实时随机读写,可直接使用本地文件系统。 不适合:与关系型数据库相比,模型简单,API很少;不适合小规模的数据。 数据存放的位置叫做单元(cell),其中的数据可以有多个版本,根据时间戳(timestamp)来区别。 安装: tar xfz hbase-...
分类:其他好文   时间:2014-04-29 13:27:22    阅读次数:403
hadoop生态系统默认端口集合
1 HDFS服务中,默认端口集合:  1. HDFS 端口 Service Servers Default Ports Used Protocol Description Need End User Access? Configuration Parameters NameNode WebUI Master Nodes (NameNo...
分类:其他好文   时间:2014-04-29 13:24:21    阅读次数:492
cdh4.1.2 hadoop和oozie集成问题
安装oozie的时候,碰到了好多好多问题,都通过网上搜索找到答案解决,在这里总结一下...
分类:其他好文   时间:2014-04-29 13:17:22    阅读次数:353
Hadoop自学笔记(五)配置分布式Hadoop环境
如何把Hadoop配置到多台机器中,构建分布式数据处理环境...
分类:其他好文   时间:2014-04-28 10:44:41    阅读次数:293
Python,带你从小白到Python HelloWorld
写在前面: Why to learn Python?All in picture: 开始正文啦,本文截取了笔记中的部分,其他详细内容稍微会整理呈现在博客中... 本文解决以下问题: 一、什么是Python 二、配置Windows Python环境 三、配置Python的Eclipse开发环境 四、Hello World,Python,waiting f...
分类:编程语言   时间:2014-04-28 10:12:41    阅读次数:400
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!