问题描述： ora-14400插入的分区关键字未映射到任何分区，其原因是：分区表过期。 例如：使用下面建表语句建表： create table T_A_TRADING( business_id VARCHAR2(64) not null, trade_date VARCHAR2(8) not nul ...
分类：
其他好文 时间：
2020-07-17 19:44:53
阅读次数：
72
一、概述 将数据以parquet模式写入到hive的分区表中时，底层源码有个错误，在进行分割字段判断时，没有引用已传入字符，多了一个“=”；该错误在hive的client中也会碰到 错误原因是底层分割符引用错误， 二、解决方法 从https://github.com/apache/parquet-m ...
分类：
其他好文 时间：
2020-07-13 21:24:30
阅读次数：
75
记一次Dynamics CRM Audit 查询失败的问题。 客户环境现象：由于业务逻辑需要使用RetrieveAuditDetailRequest API查询相关Record的详细更改信息。但查询过程中偶尔会出现失败的情况，出错原因提示是 System.TimeoutException: 'The ...
分类：
其他好文 时间：
2020-07-13 13:30:39
阅读次数：
58
#创建gpt分区表parted /dev/sdb mklabel gpt#创建新分区sdb1、sdb2、sdb3parted /dev/sdb mkpart sdb1 ext3 1G 350Gparted /dev/sdb mkpart sdb2 ext3 351G 700Gparted /dev/ ...
分类：
其他好文 时间：
2020-07-09 20:53:47
阅读次数：
96
磁盘与分区表示 名称规则 hd,表示IDE设备 sd,表示SCSI设备 vd,表示虚拟设备 （虚拟机中可以见到） Linux磁盘管理常用三个命令为df、du和fdisk。 df df命令参数功能：检查文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少空间，目前还剩下多少空间等信息。 d ...
分类：
系统相关 时间：
2020-07-08 15:05:24
阅读次数：
104
分析： 完成品牌复购率需要建立一个宽表，宽表里面包括用户信息，商品信息，以及此商品购买的个数，即一个订单，根据订单里面的商品id不同，可能有多条这样的宽表记录。 有了宽表后，再做相应的统计工作。 一 用户购买商品明细表（宽表） 建表语句： 订单详情表数据量较大，采用分区表。 drop table i ...
分类：
其他好文 时间：
2020-07-02 18:02:20
阅读次数：
78
ODS层数据不做任何处理，完全仿照业务数据库中的表字段，一模一样的创建ODS层对应表。 8张表建表语句： ①用sqoop把导入到HDFS的时候，加了参数--fields-terminated-by "\t"，因此这里ODS层建表的时候也注意相同的分隔符。 ②不管是全量导入还是其他形式，都使用分区表， ...
分类：
其他好文 时间：
2020-07-01 23:46:38
阅读次数：
91
实现思路：要知道今天有哪些用户是新增用户，需要知道两件事，一是今天所有的活跃用户，因此，新增用户的数据来源，还是DWS层的设备日活表，新增用户，就是部分日活的用户。二是要知道哪些用户在以前活跃过，用今日活跃用户减去以前活跃过的用户，剩下的就是新增用户。 DWS层（每日新增设备明细表） 建表语句。 分 ...
分类：
其他好文 时间：
2020-06-26 21:53:41
阅读次数：
78
Hive分区表和分桶表 一、分区表 1.1 概念 Hive 中的表对应为 HDFS 上的指定目录，在查询数据时候，默认会对全表进行扫描，这样时间和性能的消耗都非常大。 分区为 HDFS 上表目录的子目录，数据按照分区存储在子目录中。如果查询的 where 字句的中包含分区条件，则直接从该分区去查找， ...
分类：
其他好文 时间：
2020-06-21 16:22:24
阅读次数：
55
前言：分区是一种表的设计模式，通俗地讲表分区是将一大表，根据条件分割成若干个小表。但是对于应用程序来讲，分区的表和没有分区的表是一样的。换句话来讲，分区对于应用是透明的，只是数据库对于数据的重新整理。本篇文章给大家带来的内容是关于MySQL中分区表的介绍及使用场景，有需要的朋友可以参考一下，希望对你有所帮助。1.分区的目的及分区类型MySQL在创建表的时候可以通过使用PARTITIONBY子句定义
分类：
数据库 时间：
2020-05-29 17:43:58
阅读次数：
62
