码迷,mamicode.com
首页 > 其他好文 > 详细

pgspider cstore fdw docker 镜像试用

时间:2020-02-24 09:54:32      阅读:57      评论:0      收藏:0      [点我收藏+]

标签:img   ble   opera   git   nta   get   har   option   ssi   

cstore_fdw 是citus 团队开源的pg 列式存储扩展,可以加速我们的数据分析,关于列式存储以及行式存储的比较
可以参考下边连接的动图(来自clickhouse 官方网站)
https://clickhouse.tech/docs/en/

以下是关于cstore fdw 的简单使用

环境准备

  • docker-compose 文件
 
version: ‘3‘
services:
  pgspider-cstore:
    image: dalongrong/pgspider:cstore
    ports: 
    - "5433:5432"
    environment: 
    - "POSTGRES_PASSWORD=dalong"
  • 启动&&初始化数据
启动docker-compose 服务
docker-compose up -d
下载demo 数据
wget http://examples.citusdata.com/customer_reviews_1998.csv.gz
wget http://examples.citusdata.com/customer_reviews_1999.csv.gz
加压文件:
gzip -d customer_reviews_1998.csv.gz
gzip -d customer_reviews_1999.csv.gz
copy 数据到容器,使用docker cp 命令

使用cstore fdw

  • 启用扩展
CREATE EXTENSION cstore_fdw;
  • 创建server
CREATE SERVER cstore_server FOREIGN DATA WRAPPER cstore_fdw;
  • 创建外部表
CREATE FOREIGN TABLE customer_reviews
(
    customer_id TEXT,
    review_date DATE,
    review_rating INTEGER,
    review_votes INTEGER,
    review_helpful_votes INTEGER,
    product_id CHAR(10),
    product_title TEXT,
    product_sales_rank BIGINT,
    product_group TEXT,
    product_category TEXT,
    product_subcategory TEXT,
    similar_product_ids CHAR(10)[]
)
SERVER cstore_server
OPTIONS(compression ‘pglz‘);
  • 导入数据

    容器内部

导入数据:
\COPY customer_reviews FROM ‘customer_reviews_1998.csv‘ WITH CSV;
\COPY customer_reviews FROM ‘customer_reviews_1999.csv‘ WITH CSV;
  • 查询
SELECT
    customer_id, review_date, review_rating, product_id, product_title
FROM
    customer_reviews
WHERE
    customer_id =‘A27T7HVDXA3K2A‘ AND
    product_title LIKE ‘%Dune%‘ AND
    review_date >= ‘1998-01-01‘ AND
    review_date <= ‘1998-12-31‘;
  • 效果

技术图片

 

 

说明

实际如果为了生成cstore的列式数据,我们可以通过pg_cron 扩展,集成起来都是很不错的

参考资料

https://github.com/citusdata/cstore_fdw
https://github.com/citusdata/pg_cron
https://github.com/rongfengliang/pgspider-docker

pgspider cstore fdw docker 镜像试用

标签:img   ble   opera   git   nta   get   har   option   ssi   

原文地址:https://www.cnblogs.com/rongfengliang/p/12355547.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!