2025年9月25日: PostgreSQL 18 发布!

PGSpider 扩展已新发布

发布于 2021-08-30,作者 Toshiba
相关开源项目

我们刚刚全新发布了 PGSpider 扩展 (pgspider_ext)。

这是一个用于构建分布式大数据高性能 SQL 集群引擎的扩展。
PGSpider 使 PostgreSQL 能够使用外部数据包装器 (FDW) 访问多个数据源,并垂直检索分布式数据源。

主要功能是
* 节点分区表
用户可以通过一个 SQL 语句轻松地从多个数据源的多张表中获取记录。
如果存在两个数据源,它们具有以下记录

    SELECT * FROM t1_node1; -- @node1
       i | t
     ----+---
      10 | a
      11 | b
    (2 rows)

    SELECT * FROM t1_node2; -- @node2
       i | t
     ----+---
      20 | c
      21 | d
    (2 rows)

PGSpider 可以使用节点标识列来收集这些记录,例如:

    SELECT * FROM t1;
      i | t | node
    ----+---+-------
     10 | a | node1
     11 | b | node1
     20 | c | node2
     21 | d | node2
     (4 rows)
  • 并行处理
    PGSpider 可以并行地从数据源获取结果。

  • 下推
    PGSpider 可以将 WHERE 子句和聚合函数推送到数据源。
    可推送性取决于数据源 FDW。


该项目由 Toshiba Software Engineering & Technology Center 开发。
源码仓库 : https://github.com/pgspider/pgspider_ext

此致,
Mototaka Kanematsu