接下来做的操作是：（这个操作，将程序打成jar包到集群中运行）（1）编写spark程序在线上的hive中创建表并导入数据（2）查询hive中的数据（3）将查询结果保存到MySQL中代码：objectSparkSqlTest{defmain(args:Array[String]):Unit={//屏蔽多余的日志Logger.getLogger("org.apache.hadoop").setLeve
分类：
数据库 时间：
2019-01-05 22:52:41
阅读次数：
252
1 需求 在同一台服务器同一MySQL实例中的source库和target库都存在student表。如果source库中该表发生增删改操作时，也需要体现到target库的student表中； 2 解决方案 2.1 方案一：使用Shell脚本实现 由于自己缺少使用Shell编程的经验，此路暂时不通； ...
分类：
数据库 时间：
2019-01-05 22:53:41
阅读次数：
238
MySql介绍 标签（空格分隔）： MySql MySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下公司。MySQL 最流行的关系型数据库管理系统，在 WEB 应用方面MySQL是最好的 RDBMS (Relational Database Manag ...
分类：
数据库 时间：
2019-01-05 22:54:15
阅读次数：
259
一、数据库表记录插入操作 语法： 注意： 例子： 二、数据库表记录修改操作 语法： 注意： 三、数据库表记录删除操作 删除表中的所有记录，使用 delete from 表名; 还是用 truncate table 表名; 删除方式： delete 是一条一条删除，不清空 auto_increment ...
分类：
数据库 时间：
2019-01-05 22:54:24
阅读次数：
257
一、前言 这个东西，难度几乎没有，就是繁琐。 一条简单的select count（*） from table_name 都能有多种书写方式。 总是忘，这里记录下。 一 、通过Criteria 查询 二、通过原生sql查询 三、通过hibernate的查询语言查询 ...
分类：
数据库 时间：
2019-01-05 23:21:53
阅读次数：
334
1、select * from person; #查看全部 2、select name,sex from person; #只选择name和sex这两列name和sex之间有一个逗号的 3、select name,sex as '性别' from person #将name和sex两列选择出来,并将 ...
分类：
数据库 时间：
2019-01-05 23:22:19
阅读次数：
315
import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException;... ...
分类：
数据库 时间：
2019-01-06 00:00:02
阅读次数：
266
（1）骨灰级案例--UDTF求wordcount数据格式：每一行都是字符串并且以空格分开。代码实现：objectSparkSqlTest{defmain(args:Array[String]):Unit={//屏蔽多余的日志Logger.getLogger("org.apache.hadoop").setLevel(Level.WARN)Logger.getLogger("org.apache.s
分类：
数据库 时间：
2019-01-06 00:03:22
阅读次数：
216
1、数据准备 查看前一篇group操作 2、aggregate函数参数讲解 3、操作案例 ...
分类：
数据库 时间：
2019-01-06 00:35:35
阅读次数：
147
Galera Cluster是Codership公司开发的一套免费开源的高可用方案，属于multi-master的集群架构，如图所示： 三个实例，组成了一个集群，而这三个节点与普通的主从架构不同，它们都可以作为主节点，三个节点是对等的，这种一般称为multi-master架构，当有客户端要写入或者读 ...
分类：
数据库 时间：
2019-01-06 01:05:37
阅读次数：
234
本文所述MongoDB版本为4.0.5，笔者对MongoDB刚接触，对各个版本的MongoDB不甚了解，本文不对该版本的MongoDB做特性介绍，所涉及命令也许对其余版本不适用。 因为目前有一个试验性的项目想要使用NoSQL，而MongoDB在工作中有一定的接触，所以这个项目打算使用MongoDB ...
分类：
数据库 时间：
2019-01-06 10:42:15
阅读次数：
365
官网：http://mycat.io/，里面有电子书籍可以下载：http://www.mycat.io/document/mycat-definitive-guide.pdf 旧版本下载地址：https://github.com/MyCATApache/Mycat-download，最新软件下载地址 ...
分类：
数据库 时间：
2019-01-06 10:45:26
阅读次数：
302
用ADB给Essential Phone线刷升级 重要:请确保在刷机前已经解锁,关于解锁教程群里有! 准备 原版boot Twrp boot Magisk卡刷包 到官网下载OTA包 准备好Essential Phone的adb环境或到群里下载紫妈工具箱 (已准备好的话跳过下面这两步) 获取资源 解压 ...
分类：
数据库 时间：
2019-01-06 10:46:54
阅读次数：
2665
下载：https://pan.baidu.com/s/1hRb-TS_R-0fnXPodS5OoDg 《SQL必知必会(第4版)》高清中文PDF+高清英文PDF+代码 下载：https://pan.baidu.com/s/11-MnDu0khzwO4tiJqHznnA 《SQL进阶教程》高清中文PD ...
分类：
数据库 时间：
2019-01-06 10:49:38
阅读次数：
1380
在一个月黑风高的夜晚，自己无聊学习的SQL的时候，练习，突发奇想的想实现一个功能查询，一张成绩表有如下字段，班级ID，英语成绩，数据成绩，语文成绩如下图 实现 查询出 每个班级英语成绩最高的前两名的记录。 看起来不难的业务，做起来才知道还挺麻烦的，说白了其实就是实现分组后的组内排序，一般不思考的话我 ...
分类：
数据库 时间：
2019-01-06 10:51:41
阅读次数：
529
最近在看爬虫，其中需要用到MangoDB数据库，在安装的时候遇到了很多问题，最终查了很多资料，终于解决了。 现记录如下： 系统配置：deepin 15.8 Step1：导入秘钥，命令如下： sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com ...
分类：
数据库 时间：
2019-01-06 11:17:52
阅读次数：
223
（1）自定义UDFobjectSparkSqlTest{defmain(args:Array[String]):Unit={//屏蔽多余的日志Logger.getLogger("org.apache.hadoop").setLevel(Level.WARN)Logger.getLogger("org.apache.spark").setLevel(Level.WARN)Logger.getLogg
分类：
数据库 时间：
2019-01-06 11:19:51
阅读次数：
181
参考文献： http://technet.microsoft.com/en-us/library/ms188388.aspx 使用alter index来rebuild和reorganize索引来清除碎片，rebuild能够完全清除碎片，但是reorganize却不能。 结论 reorganize ...
分类：
数据库 时间：
2019-01-06 11:20:00
阅读次数：
357
索引的概念 索引是数据的目录，能快速定位数据的位置。索引提高了查询速度，降低了增删改的速度。并非加的越多越好。 一般在查询频率高的列上加，而且在重复度低的列上加效果更好。如在性别列上不用加索引，但是身份证号列上就可以加索引。 key 普通索引，就是为了加快查询速度。 unique key 唯一索引 ...
分类：
数据库 时间：
2019-01-06 11:54:26
阅读次数：
173
SQL注入攻击（SQL Injection），简称注入攻击，是Web开发中最常见的一种安全漏洞。 可以用它来从数据库获取敏感信息，或者利用数据库的特性执行添加用户，导出文件等一系列恶意操作， 甚至有可能获取数据库乃至系统用户最高权限。 而造成SQL注入的原因是因为程序没有有效过滤用户的输入，使攻击者 ...
分类：
数据库 时间：
2019-01-06 11:58:04
阅读次数：
174
