spark 2.1.1 spark在写数据到hive外部表（底层数据在hbase中）时会报错 Caused by: java.lang.ClassCastException: org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat cannot ...
分类：
Web程序 时间：
2018-12-18 17:12:14
阅读次数：
1201
hive 关联表和外表的区别： 1. 外部表需要external关键之，location是数据文件默认存放位置，不管是不管是select 还是load的数据都存放在这里。导入数据到外部表，数据并没有mv到数据仓库目录，而是在loacation目录。 2.内部表建表时也能加上location,作用和外 ...
分类：
其他好文 时间：
2018-11-28 15:38:34
阅读次数：
230
表 Table 内部表 Partition 分区表 External Table 外部表 Bucket Table 桶表 内部表 分区表 parttion对应于数据库中的Partition列的密集索引，在hive中，表的一个Partition对应于表下一个目录，所有的Partition的数据都存储在 ...
分类：
其他好文 时间：
2018-11-25 21:20:59
阅读次数：
237
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。1.文档编写目的本文文档主要讲述如何使用Sentry管理Hive/Impala外部表权限。内容概述1.创建测试库及外部表2.创建角色并授权3.授权测试4.测试总结测试环境1.操作系统为CentOS6.52.CM和CDH版本为5.12.13.采用root用户操作前置条件1.集群运行正常2.集群已启用Kerberos且正常使用3.HDFS/
分类：
其他好文 时间：
2018-11-23 11:29:07
阅读次数：
197
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。1.文档编写目的本文档主要讲述如何使用Sentry对Hive外部表权限管理，并基于以下假设：1.操作系统版本：RedHat6.52.CM版本：CM5.11.13.集群已启用Kerberos和Sentry4.采用具有sudo权限的ec2-user用户进行操作2.前置准备2.1创建外部表数据父目录1.使用hive用户登录Kerberos[r
分类：
其他好文 时间：
2018-11-17 23:23:17
阅读次数：
405
按照开发阶段划分 单元测试 又称模块测试 集成测试 又称组装测试 确认测试 检测与证实软件是否满足软件需求 系统测试 真实或模拟系统允许的环境 验收测试 按照项目任务书或合同、验收依据 按照测试实施组织划分 开发方测试 通常也叫“验证测试”或“α测试” 用户测试 “β测试”是用户测试的一种 第三发测 ...
分类：
其他好文 时间：
2018-11-14 14:21:27
阅读次数：
157
1>hive下创建表并导入数据 (数据可以是本地的,也可以是hdfs上的) 2>内部表与外部表 外部表和 内部表 在元数据的组织上是相同的，而实际数据的存储则有较大的差异 内部表 的创建过程和数据加载过程（这两个过程可以在同一个语句中完成），在加载 数据的过程中，实际数据会被移动到数据仓库目录中；之 ...
分类：
编程语言 时间：
2018-11-02 18:56:08
阅读次数：
167
先说点题外话，因为后面我会用到这个函数。 前两天自定义了一个 sql 的字符串分割函数（Split），不过后来发现有点问题，例如： 我之前只处理了截取的最后一个为空的字符串，所以会出现以上的结果，现在我做了一些修改。代码如下： 红色部分的代码为添加或修改的部分，下面再看一下效果。 之前自定义 Spl ...
分类：
移动开发 时间：
2018-10-19 22:03:04
阅读次数：
225
操作环境：windowsxp/win7/win8/win10bartender9.4excel表格做数据库情况一：具体提示如下外部表不是预计的格式；原因：bartender与2007格式的excel兼容性不是那么好；解决：作为数据库的表格，打开后另存为2003格式就可以了；情况二：不是有效路径；原因：文件移动/改名导致路径变更；解决：重新连接一次数据库文件即可；打开标签/吊牌打印模板，点击数据库设
分类：
数据库 时间：
2018-10-06 17:10:04
阅读次数：
391
1，优化sharding 功能（一般没什么人用） 2，优化多租户模式，包括如下 应用容器 应用程序容器由应用程序根和一个或多个应用程序PDBs组成。容器存储特定应用程序的数据，该应用程序包含公共数据和元数据。您可以在应用程序根目录中升级或修补应用程序一次，然后将应用程序PDB与根同步。 PDB的创建 ...
分类：
数据库 时间：
2018-08-22 18:27:21
阅读次数：
157
