MYSQL在windows和linux平台下存在几种不同的提权姿势，以下会做相关阐述，更多的是学习前辈的经验 Windows UDF提权 在windows下存在一个叫做动态链接库的东西，俗称DLL。该文件会把程序代码中使用的函数编译成机器码，保存在DLL文件中；在编译时，编译器不会把函数的机器码复制 ...
分类：
数据库 时间：
2019-05-26 16:22:06
阅读次数：
1151
1 hive表关联查询，如何解决数据倾斜的问题?倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。1)、key分布不均匀;2)、业务数据本身的特性;3)、建表时考虑不周;4)、某些S ...
分类：
其他好文 时间：
2019-05-13 14:29:16
阅读次数：
107
1. 作用： 同步mysql；做拉链表；更新redis 某些情况无法从日志中获取信息，而又无法利用sqoop等ETL工具对数据实时的监控 2. canal的工作原理： canal的工作原理很简单，就是把自己伪装成slave，假装从master复制数据。 3. mysql的binlog MySQL的二 ...
分类：
其他好文 时间：
2019-05-12 17:08:09
阅读次数：
698
UDF即用户自定函数，注册之后，在sql语句中使用。 基于scala-sdk-2.10.6，Spark2.0.0。 结果 ...
分类：
数据库 时间：
2019-04-25 16:10:50
阅读次数：
331
UDF的定义 UDF（User-Defined Functions）即是用户定义的hive函数。hive自带的函数并不能完全满足业务需求，这时就需要我们自定义函数了 UDF的分类 这三类中，我们只对UDF类的函数进行改写 这三类中，我们只对UDF类的函数进行改写 pom文件配置 UDF函数编写 打j ...
分类：
其他好文 时间：
2019-04-23 12:34:52
阅读次数：
229
背景 URL 的编码 是ASCII十六进制格式。 数仓接受到前端上报的URL，要对URL字段解码。 如要将 解码为: 方式 1.hive sql中，通过反射调用java.net.URLDecoder方法 实践中，发现，部分https开头的url解析不完整。例如 问题 解决方案 ...
分类：
Web程序 时间：
2019-04-18 17:12:41
阅读次数：
480
package cn.piesat.testimport org.apache.spark.sql.SparkSessionimport scala.collection.mutable.ArrayBufferobject SparkSQLTest { def main(args: Array[St ...
分类：
数据库 时间：
2019-04-06 15:27:58
阅读次数：
200
0. 说明 UDF //user define function //输入单行，输出单行，类似于 format_number(age,'000') UDTF //user define table-gen function //输入单行，输出多行，类似于 explode(array); UDAF / ...
分类：
其他好文 时间：
2019-02-08 10:34:06
阅读次数：
159
解决无法打开项目文件“Web.csproj” 此安装不支持该项目类型 解决办法，用不带sp1的vs新建一个项目，然后将打不开的工程文件csproj中的 <ProjectTypeGuids>{E53F8FEA-EAE0-44A6-8774-FFD645390401};{349c5851-65df-11 ...
分类：
其他好文 时间：
2019-02-01 11:26:31
阅读次数：
236
1.将以下记录加入hosts文件 2.激活方式选择licence server，填写以下激活码 ...
分类：
其他好文 时间：
2019-01-26 20:25:31
阅读次数：
814
