某日开发反馈测试环境的集群启动失败 报错内容如下： 查看启动日志发现： 内容大概是说/etc/sysctl.conf设置的内核参数shmmax过小，导致启动失败 查看/etc/sysctl.conf下的配置发现： 对比官网建议的设置和参数定义以及集群已有的数据量，发现确实过小。于是改成官网建议的设置 ...
分类：
其他好文 时间：
2018-12-05 21:01:47
阅读次数：
305
https://hashdatainc.github.io/bireme/ Bireme 是一个 Greenplum / HashData 数据仓库的增量同步工具。目前支持 MySQL、PostgreSQL 和 MongoDB 数据源。 Greenplum 是一个高级，功能齐全的开源数据仓库，为PB ...
分类：
其他好文 时间：
2018-11-26 20:10:09
阅读次数：
560
今天协助排查异常数据，发现是如下类似代码产生的： to_date(col_name,'yyyymmdd')，其中col_name是date类型。 这个代码运行后，结果是：2018-11-16的date类型数据转换后变成了2017-11-01。 查阅官方文档： https://www.postgres ...
分类：
其他好文 时间：
2018-11-17 12:02:09
阅读次数：
243
gp节点出现了acting as primary change tracking错误，判断是节点primary和mirror发生了切换 1.没有配置gp的日志，无法获取为什么切换了，待会儿看看默认日志在哪里 目前只有gpadmin、gprecover的操作日志 在gpadmin和master的日志p ...
分类：
其他好文 时间：
2018-11-16 12:20:52
阅读次数：
347
greenplum单独添加standby本文主要介绍如何为没有做Standby的Master节点添加Standby。旧版本gp集群需要注意！！！！在为Master节点搭建Standby的过程中，GreenPlum会自动关闭数据库，并以utility模式打开Master节点，然后修改gp_segment_configuration字典中增加Standby的信息，然后再关闭Master节点，将Mast
分类：
数据库 时间：
2018-11-16 11:41:41
阅读次数：
470
一、SQL SERVER、GREENPLUM 1. SSIS安装 ? 安装SQL SERVER 2005 数据库之后，运行SSIS工具，建立包，建立完成之后，新建工作流，双击工作流之后无法进行编辑，并且在新建数据连接时，报错，无法建立数据连接。 ① 重新注册Microsoft.DataTransfo ...
分类：
数据库 时间：
2018-11-15 15:26:30
阅读次数：
144
因为公司需要使用greenplum，而官方的datax版本在导数据到greenplum时，速度是非常慢的（严格说是datax导数据到postgresql，在导入到GP时，数据走的是master，一条一条insert的，当然是慢）。 所以，这里采用了别人开发好的支持GP 的datax版本：https: ...
分类：
其他好文 时间：
2018-11-12 12:06:05
阅读次数：
4624
Greenplum支持原有主机扩展Segment个数、新增主机、和混合扩展 本文以在已有机器上扩展节点为例 1、可按照hostname:address:port:fselocation:dbid:content:preferred_role:replication_port来配置扩展文件 2、执行命 ...
分类：
其他好文 时间：
2018-11-10 23:56:45
阅读次数：
372
一、Greenplum背景 时间回到2002年，互联网行业经过近10年的发展，数据量正处于快速增长期： 1、传统的主机计算模式在海量数据面前，除了造价昂贵外，在CPU计算和IO吞吐上不能满足海量数据的计算需求； 2、传统数据库大多基于SMP架，纵向扩容(scale-up)模式遇到了瓶颈。 3、分布式 ...
分类：
其他好文 时间：
2018-11-10 10:44:55
阅读次数：
2629
GP中的table和其它关系型数据表是一样的，除了数据被分布在不同的segment以外。 在建表的时候必须申明分布键distribution policy。 建表需定义下面几个方面： 1. 指定列和数据类型 2. 约束 3. 分布策略 4. 数据存储方式 5. 大表分区策略 选择列的数据类型 关于字 ...
分类：
其他好文 时间：
2018-11-05 11:34:57
阅读次数：
1190
