sparkSQL1.1对数据的查询分成了2个分支:sqlContext 和 hiveContext。
在sqlContext中,sparkSQL可以使用SQL-92语法对定义的表进行查询,表的源数据可以来自:
RDDparquet文件json文件
在hiveContext中,sparkSQL可以使用HQL语法,对hive数据进行查询,sparkSQ...
分类:
数据库 时间:
2014-09-10 09:38:00
阅读次数:
406
前面介绍了sparkSQL的运行架构,后面将介绍sparkSQL的使用。在介绍sparkSQL的使用之前,我们需要搭建一个sparkSQL的测试环境。本次测试环境涉及到hadoop之HDFS、hive、spark以及相关的数据文件,相关的信息如下:
hadoop版本为2.2.0hive版本为0.13spark版本为1.1.0-rc3MySQL版本为5.6.12测试数据下载地点:http:...
分类:
数据库 时间:
2014-09-10 09:39:40
阅读次数:
378
Retrieves the value of the designated column in the current row of this ResultSet object as a String in the Java programming language.Parameters:colum...
分类:
数据库 时间:
2014-09-10 10:49:10
阅读次数:
275
进入/usr/local#cd /usr/local下载#wget http://dev.mysql.com/get/Downloads/MySQL-5.5/mysql-5.5.39-linux2.6-x86_64.tar.gz#解压tar zxvfmysql-5.5.39-linux2.6-x86...
分类:
数据库 时间:
2014-09-10 12:11:30
阅读次数:
304
今天在另外的电脑用plsql查询不到带中文的记录select * from test where name like '%测试%'然后发现是系统的环境变量还没设置好所造成的。在系统变量加入如下变量,重启plsql即可变量名:NLS_LANG变量值:AMERICAN_AMERICA.AL32UTF8
分类:
数据库 时间:
2014-09-10 12:19:50
阅读次数:
279
1.游标概念在PL/SQL块中执行SELECT、INSERT、DELETE和UPDATE语句时,ORACLE会在内存中为其分配上下文区(ContextArea),即缓冲区。游标是指向该区的一个指针,或是一种结构化数据类型。它提供了一种对具有多行数据查询结果集中的每一行数据分别进行单独处理的方法,是设...
分类:
数据库 时间:
2014-09-10 12:21:20
阅读次数:
364
在Mysql数据库中,Merge表有点类似于视图。mysql的merge引擎类型允许你把许多结构相同的表合并为一个表。之后,你可以执行查询,从多个表返回的结果就像从一个表返回的结果一样。每一个合并的表必须有完全相同表的定义和结构。Mysql Merge表的优点:A. 分离静态的和动态的数据B. 利用...
分类:
数据库 时间:
2014-09-10 12:23:00
阅读次数:
331
1、到chinaunix下载mysql下载地址:http://download.chinaunix.net/download/0008000/7159.shtml2、上传到CentOS服务器本例放在 /home/jiangfeng3 中3、创建mysql组及用户[root@localhost ~]#...
分类:
数据库 时间:
2014-09-10 12:23:50
阅读次数:
276
SqlFunctions引用命名空间:using System.Data.Objects.SqlClient;db.Favorite.Where(_ => SqlFunctions.PatIndex(keyWord, _.ItemName) > 0 && _.UserId == itemId);与d...
分类:
数据库 时间:
2014-09-10 12:26:20
阅读次数:
298
root用户启动mongodb,下面的data/db目录是自己新建的用来存在mongodb数据库数据的一个文件夹。这里如果不使用root用户,第二次再次启动的时候启动不了。具体原因没有找着。
cd app/mongo/
bin/mongod --dbpath data/db...
分类:
数据库 时间:
2014-09-10 12:31:10
阅读次数:
304
深入oracle12c数据库备份与恢复(优化RMAN性能、Oracleflashback技术)课程讲师:小流老师课程分类:Oracle适合人群:高级课时数量:15课时用到技术:oracle涉及项目:oracle12c数据库备份与恢复咨询QQ:1337192913课程简介:学习最新ORACLE12c数据库备份与恢复的相关的知识,讲..
分类:
数据库 时间:
2014-09-10 12:44:41
阅读次数:
289
目标站:http://www.51team.cn/ 注入点:http://www.51team.cn/newmess.php?id=138 找到注入点后猜字段,可用?order by 1?猜解,order by不可用时,可用union?联合查询! 我这里猜解到的字段是22, 上图: 接下...
分类:
数据库 时间:
2014-09-10 12:46:50
阅读次数:
415
Oracle之PL/SQL学习笔记之触发器 ? ? 触发器是许多关系数据库系统都提供的一项技术。在ORACLE系统里,触发器类似过程和函数,都有声明,执行和异常处理过程的PL/SQL块。 ??? 触发器在数据库里以独立的对象存...
分类:
数据库 时间:
2014-09-10 12:47:40
阅读次数:
371
[persistence/sql-map-.xml]; nested exception is java.io.FileNotFoundException: class path resource [sql-map-config-2.dtd] cannot be opened because it does not exist at org.springframework.beans.fac...
分类:
数据库 时间:
2014-09-10 12:49:40
阅读次数:
402
Linq 转 SQL 或 Linq 转 Lambda :工具: LinqPadSql 转 Linq to Entity:工具: Linqer
分类:
数据库 时间:
2014-09-10 13:53:30
阅读次数:
266
ArcSDE10.2.2使用SQL操作ST_Geometry时报ORA-28579或ORA-20006错误
1、测试环境说明
ArcSDE版本:10.2.2
Oracle版本:12.1.0.1和11.2.0.1
Windows版本:Windows Server 2008 R2
测试数据:中国400W...
分类:
数据库 时间:
2014-09-10 13:55:00
阅读次数:
558
1、查看系统是否安装了MySQL 使用命令: #rpm -qa | grepmysql2、卸载已安装的MySQL 卸载mysql命令如下: #rpm -e --nodeps mysql-libs-5.1.61-4.el6.x86_64 要将 /var/lib/mysql文件夹下的所有文...
分类:
数据库 时间:
2014-09-10 13:56:50
阅读次数:
281
这两天有空翻了翻大神写的《innodb存储引擎》,手痒亲身实践。由于此书出版了有段时日,没有用其推荐的python工具,通过点滴推敲,略微发现其中冰山一角的奥秘。对于今后对于一些问题查证或数据迁移可能会有帮助。话不多说,开码。·大结构innodb数据文件按照 :【segment,extent,pag...
分类:
数据库 时间:
2014-09-10 13:57:40
阅读次数:
269
2014-08-27 BaoXinjian一、摘要当执行耗时时间较长的PLSQL时,有时需要查看程式运行的进度,目前已经处理了多少资料,还需处理多上资料如果程式中专门的Log Module管控这一块,问题就不太大如果没有这个这块的管控,可能就需要通过跟踪session,并查询动态性能视图,大概猜测出...
分类:
数据库 时间:
2014-09-10 14:04:41
阅读次数:
285
1、获取时间 获取当天的数据 where DATEDIFF (DD, 数据库中时间的字段 ,GETDATE())=0 查询24小时内的 where DATEDIFF (HH, 数据库中时间的字段 ,GETDATE())=0 获取本周数据 whereDATEDIFF (WEEK, DT...
分类:
数据库 时间:
2014-09-10 14:05:50
阅读次数:
249