-- 问题1、、Postgresql中将数字转换为字符串前面多出一个空格。 -- 解决1、使用如下,参数二前面加上fm就可以去掉空格了,如下: -- 设计思路-- 1、使用当前的年月日生成yyyyMMdd格式的字符串 -- 2、将生成的yyyyMMdd格式的字符串拼接00000 -- 3、将生成的y ...
分类:
数据库 时间:
2018-12-06 20:15:51
阅读次数:
429
某日开发反馈测试环境的集群启动失败 报错内容如下: 查看启动日志发现: 内容大概是说/etc/sysctl.conf设置的内核参数shmmax过小,导致启动失败 查看/etc/sysctl.conf下的配置发现: 对比官网建议的设置和参数定义以及集群已有的数据量,发现确实过小。于是改成官网建议的设置 ...
分类:
其他好文 时间:
2018-12-05 21:01:47
阅读次数:
305
https://hashdatainc.github.io/bireme/ Bireme 是一个 Greenplum / HashData 数据仓库的增量同步工具。目前支持 MySQL、PostgreSQL 和 MongoDB 数据源。 Greenplum 是一个高级,功能齐全的开源数据仓库,为PB ...
分类:
其他好文 时间:
2018-11-26 20:10:09
阅读次数:
560
今天协助排查异常数据,发现是如下类似代码产生的: to_date(col_name,'yyyymmdd'),其中col_name是date类型。 这个代码运行后,结果是:2018-11-16的date类型数据转换后变成了2017-11-01。 查阅官方文档: https://www.postgres ...
分类:
其他好文 时间:
2018-11-17 12:02:09
阅读次数:
243
gp节点出现了acting as primary change tracking错误,判断是节点primary和mirror发生了切换 1.没有配置gp的日志,无法获取为什么切换了,待会儿看看默认日志在哪里 目前只有gpadmin、gprecover的操作日志 在gpadmin和master的日志p ...
分类:
其他好文 时间:
2018-11-16 12:20:52
阅读次数:
347
greenplum单独添加standby本文主要介绍如何为没有做Standby的Master节点添加Standby。旧版本gp集群需要注意!!!!在为Master节点搭建Standby的过程中,GreenPlum会自动关闭数据库,并以utility模式打开Master节点,然后修改gp_segment_configuration字典中增加Standby的信息,然后再关闭Master节点,将Mast
分类:
数据库 时间:
2018-11-16 11:41:41
阅读次数:
470
一、SQL SERVER、GREENPLUM 1. SSIS安装 ? 安装SQL SERVER 2005 数据库之后,运行SSIS工具,建立包,建立完成之后,新建工作流,双击工作流之后无法进行编辑,并且在新建数据连接时,报错,无法建立数据连接。 ① 重新注册Microsoft.DataTransfo ...
分类:
数据库 时间:
2018-11-15 15:26:30
阅读次数:
144
因为公司需要使用greenplum,而官方的datax版本在导数据到greenplum时,速度是非常慢的(严格说是datax导数据到postgresql,在导入到GP时,数据走的是master,一条一条insert的,当然是慢)。 所以,这里采用了别人开发好的支持GP 的datax版本:https: ...
分类:
其他好文 时间:
2018-11-12 12:06:05
阅读次数:
4624
Greenplum支持原有主机扩展Segment个数、新增主机、和混合扩展 本文以在已有机器上扩展节点为例 1、可按照hostname:address:port:fselocation:dbid:content:preferred_role:replication_port来配置扩展文件 2、执行命 ...
分类:
其他好文 时间:
2018-11-10 23:56:45
阅读次数:
372
一、Greenplum背景 时间回到2002年,互联网行业经过近10年的发展,数据量正处于快速增长期: 1、传统的主机计算模式在海量数据面前,除了造价昂贵外,在CPU计算和IO吞吐上不能满足海量数据的计算需求; 2、传统数据库大多基于SMP架,纵向扩容(scale-up)模式遇到了瓶颈。 3、分布式 ...
分类:
其他好文 时间:
2018-11-10 10:44:55
阅读次数:
2629