PGSpider 扩展新发布

发布于 2021-08-30,作者:东芝
相关开源

我们刚刚发布了 PGSpider 扩展 (pgspider_ext)。

这是一个为分布式大数据构建高性能 SQL 集群引擎的扩展。
PGSpider 使 PostgreSQL 能够使用外部数据包装器 (FDW) 访问多个数据源,并垂直检索分布式数据源。

主要特点是
* 节点分区表
用户可以通过一个 SQL 轻松获取多个数据源上多个表中的记录。
如果存在以下记录的 2 个数据源

    SELECT * FROM t1_node1; -- @node1
       i | t
     ----+---
      10 | a
      11 | b
    (2 rows)

    SELECT * FROM t1_node2; -- @node2
       i | t
     ----+---
      20 | c
      21 | d
    (2 rows)

PGSpider 能够使用节点标识符列收集这些记录,例如

    SELECT * FROM t1;
      i | t | node
    ----+---+-------
     10 | a | node1
     11 | b | node1
     20 | c | node2
     21 | d | node2
     (4 rows)
  • 并行处理
    PGSpider 可以并行从数据源获取结果。

  • 下推
    PGSpider 可以将 WHERE 子句和聚合函数下推到数据源。
    可运送性取决于数据源 FDW。


这是由东芝软件工程与技术中心开发的。
源代码仓库:https://github.com/pgspider/pgspider_ext

此致,
金松 求