然后在hdfs上查看， port 50070dfs -ls /user/wyq/hive; eclipse java(jar cvf demoudf.jar ///.java) cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 用 ...
分类：
其他好文 时间：
2017-10-28 11:03:43
阅读次数：
155
本人目前是一名大数据工程师，项目数据50T，日均数据增长20G左右，个人是从Java后端开发，经过3个月的业余自学成功转型大数据工程师。 ...
分类：
其他好文 时间：
2017-10-27 23:53:00
阅读次数：
530
在进行spark sql数据库操作中，常常需要一些spark系统本身不支持的函数，如获取某一列值中的字符串。 如要获取 “aaaakkkkk”中的第4－第8个字符。 针对这种需求，只有设置UDF来实现了。 如 val fun:((String,Int,Int) => String) = (args: ...
分类：
数据库 时间：
2017-10-27 01:54:59
阅读次数：
240
Hive是什么？其体系结构简介*Hive的安装与管理*HiveQL数据类型，表以及表的操作*HiveQL查询数据***Hive的Java客户端** Hive的自定义函数UDF* 1：什么是Hive（一）： （1）Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进 ...
分类：
其他好文 时间：
2017-10-18 11:15:15
阅读次数：
205
pring Cloud集成项目有很多，下面我们列举一下和Spring Cloud相关的优秀项目，我们的企业架构中用到了很多的优秀项目，说白了，也是站在巨人的肩膀上去整合的。在学习Spring Cloud之前大家必须了解一下相关项目，希望可以帮助到大家。 Spring Cloud Config 配置... ...
分类：
编程语言 时间：
2017-10-17 15:26:32
阅读次数：
177
LocalSparkContext.scala import org.apache.spark.{SparkConf, SparkContext} import org.scalatest._ trait LocalSparkContext extends BeforeAndAfterAll { s ...
Nginx ("engine x") 是一个高性能的 HTTP 和 反向代理 服务器，也是一个 IMAP/POP3/SMTP 代理服务器，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。但是他的日志系统实在是太欠了，所有的日志都会输出到一个文件中，随着时间的过去，那个文件变得越来越 ...
分类：
其他好文 时间：
2017-10-08 21:33:16
阅读次数：
202
基本函数 SHOW FUNCTIONS; DESCRIBE FUNCTION <function_name>; 返回值类型 名称 描述 string from_unixtime(int unixtime) 将时间戳（unix epoch秒数）转换为日期时间字符串，例如from_unixtime(0) ...
分类：
其他好文 时间：
2017-10-02 21:34:17
阅读次数：
206
/** Spark SQL源码分析系列文章*/ 在SQL的世界里，除了官方提供的常用的处理函数之外，一般都会提供可扩展的对外自定义函数接口，这已经成为一种事实的标准。 在前面Spark SQL源码分析之核心流程一文中，已经介绍了Spark SQL Catalyst Analyzer的作用，其中包含了 ...
分类：
数据库 时间：
2017-09-26 14:48:24
阅读次数：
162
A. Artifact Guarding 选出的守卫需要满足$\max(a+b)\leq \sum a$，从小到大枚举每个值作为$\max(a+b)$，在权值线段树上找到最大的若干个$a$即可。 时间复杂度$O(n\log n)$。 B. Book Pages 将行中的空格以及#号都去掉，那么某一行 ...
