2014年9月11日，Spark1.1.0忽然之间发布。笔者立即下载、编译、部署了Spark1.1.0。关于Spark1.1的编译和部署，请参看笔者博客Spark1.1.0 源码编译和部署包生成 。
Spark1.1.0中变化较大是sparkSQL和MLlib，sparkSQL1.1.0主要的变动有：
增加了JDBC/ODBC Server（ThriftServer），...
分类：
数据库 时间：
2014-09-15 10:05:48
阅读次数：
306
目前 Spark SQL 不支持自定义UDF ，底层 SQL 引擎用的 catalyst 。
在SqlContext 中 有一个 Analyzer
@transient
protected[sql]
lazy
val
analyzer:
Analyzer =
new
Analyzer(catalog, Em...
分类：
数据库 时间：
2014-09-13 22:50:26
阅读次数：
339
启动ThriftJDBCServer:cd $SPARK_HOME/sbinstart-thriftserver.sh &使用jdbc访问ThriftJDBCServer代码段：package com.luogankun.spark.sqlimport java.sql.DriverManageri...
分类：
数据库 时间：
2014-09-13 18:42:05
阅读次数：
497
Thrift JDBC Server描述Thrift JDBC Server使用的是HIVE0.12的HiveServer2实现。能够使用Spark或者hive0.12版本的beeline脚本与JDBC Server进行交互使用。Thrift JDBC Server默认监听端口是10000。使用Th...
分类：
数据库 时间：
2014-09-13 18:30:55
阅读次数：
468
Spark SQL CLI的引入使得在SparkSQL中通过hive metastore就可以直接对hive进行查询更加方便；当前版本中还不能使用Spark SQL CLI与ThriftServer进行交互。注意：在使用Spark SQL CLI时需要将hive-site.xml配置文件拷贝到$SP...
分类：
数据库 时间：
2014-09-13 17:10:25
阅读次数：
512
Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。 工业和信息化部电信研究院于2014年5月发布的“大数据白皮书”中指出：“2012 年美国联邦政府就在全球率先推出“大数据行动计划（Big data initiative）...
分类：
移动开发 时间：
2014-09-13 17:10:15
阅读次数：
379
Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。大数据时代的精髓技术在于Hadoop、Yarn、Spark，是大数据时代公司和个人必须掌握和使用的核心内容。Hadoop、Yarn、Spark是Yahoo！、阿里淘宝...
分类：
移动开发 时间：
2014-09-13 17:03:45
阅读次数：
328
SparkSql实际运用：在spark0.9.x中不支持jdbc操作，spark1.1会加入jdbc支持
版本说明：spark-1.1.0+scala-2.10.4+hive-0.12.0
spark1.1的发布正式版：2014/9/11
1、增加start-thriftserver.sh 服务启动，通过jdbc/odbc直接连接
bin/start-thriftser...
分类：
数据库 时间：
2014-09-13 09:25:24
阅读次数：
329
最近要在spark上做一个聚类的项目，数据规模和类的数目都比较大。因此总结了一下常见的聚类算法。最终选择mini-batch kmeans，并使用kmeans++来初始化类中心。这样算法的执行速度比较快，而且效果相对靠谱。...
分类：
其他好文 时间：
2014-09-13 00:51:24
阅读次数：
420
