刚开始接触Spark被Hive在Spark中的作用搞得云里雾里，这里简要介绍下，备忘。 参考：https://blog.csdn.net/zuochang_liu/article/details/82292076 SparkSQL：是一个完全不依赖Hive的SQL引擎。 Spark On Hive ...
分类：
数据库 时间：
2019-01-26 18:51:51
阅读次数：
390
1.注册函数，使用using jar方式在hdfs上引用udf库。 $hive>create function formattime as 'com.it18zhang.applogs.udf.FormatTimeUDF' using jar 'hdfs://hadoop01/app/app-log... ...
分类：
其他好文 时间：
2019-01-25 18:53:20
阅读次数：
221
作为一名初次使用MaxCompute的用户，我体会颇深。MaxCompute 开箱即用，拥有集成化的操作界面，你不必关心集群搭建、配置和运维工作。仅需简单的点击鼠标，几步操作，就可以在MaxCompute中上传数据，分析数据并得到分析结果。 作为一种快速、完全托管的 TB/PB 级数据仓库解决方案， ...
分类：
其他好文 时间：
2019-01-24 16:33:03
阅读次数：
185
在DataWorks中实现指定资源只能被指定账户访问
分类：
其他好文 时间：
2019-01-16 17:24:21
阅读次数：
213
今天在梳理银行SQL业务的时候出现了一个全角的问题：两个种代码 都可以 使用了UDF函数解决 我们来理解一下Java中全角字符和半角字符之间的关系 ...
分类：
其他好文 时间：
2019-01-07 21:17:37
阅读次数：
672
一. 自定义函数分类 当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数. 根据用户自定义函数类别分为以下三种： 1. UDF（User-Defined-Function） 一进一出 2. UDAF（User-Defined Aggregation Function ...
分类：
其他好文 时间：
2018-12-21 21:17:11
阅读次数：
196
会话保持(Session Affinity),有时又称粘滞会话(Sticky Sessions), 是负载均衡领域设计需要着力解决的重要问题之一，也是一个相对比较复杂的问题。 会话保持是指在负载均衡器上的一种机制，在完成负载均衡任务的同时，还负责一系列相关连的访问请求会分配到一台服务器上? 当用户向 ...
分类：
其他好文 时间：
2018-12-13 15:00:03
阅读次数：
231
环境管理 管理 Python 版本和环境的工具 p – 非常简单的交互式 python 版本管理工具。 pyenv – 简单的 Python 版本管理工具。 Vex – 可以在虚拟环境中执行命令。 virtualenv – 创建独立 Python 环境的工具。 virtualenvwrapper- ...
分类：
编程语言 时间：
2018-12-12 13:52:56
阅读次数：
245
我们可以通过继承原生的Dialog来实现自定义的Dialog。 本文的自定义Dialog和原生的AlertDialog的创建方式类似，通过一个静态Builder类来设置Dialog的图标、标题、内容和按钮。 布局文件代码： （注意这里的根布局的宽高如果用match_parent或者设置为具体的数值都 ...
分类：
移动开发 时间：
2018-12-10 20:45:47
阅读次数：
193
Spark UDF Java 示例 在 "这篇文章" 中提到了用Spark做用户昵称文本聚类分析，聚类需要选定K个中心点，然后迭代计算其他样本点到中心点的距离。由于中文文字分词之后(n gram)再加上昵称允许各个特殊字符（数字、字母、各种符号……），如果直接在原来的文本数据上进行聚类，由于文本的“ ...
分类：
编程语言 时间：
2018-12-01 00:11:20
阅读次数：
592
