我们刚刚全新发布了 PGSpider 扩展 (pgspider_ext)。
这是一个用于构建分布式大数据高性能 SQL 集群引擎的扩展。
PGSpider 使 PostgreSQL 能够使用外部数据包装器 (FDW) 访问多个数据源,并垂直检索分布式数据源。
主要功能是
* 节点分区表
用户可以通过一个 SQL 语句轻松地从多个数据源的多张表中获取记录。
如果存在两个数据源,它们具有以下记录
SELECT * FROM t1_node1; -- @node1
i | t
----+---
10 | a
11 | b
(2 rows)
SELECT * FROM t1_node2; -- @node2
i | t
----+---
20 | c
21 | d
(2 rows)
PGSpider 可以使用节点标识列来收集这些记录,例如:
SELECT * FROM t1;
i | t | node
----+---+-------
10 | a | node1
11 | b | node1
20 | c | node2
21 | d | node2
(4 rows)
并行处理
PGSpider 可以并行地从数据源获取结果。
下推
PGSpider 可以将 WHERE 子句和聚合函数推送到数据源。
可推送性取决于数据源 FDW。
该项目由 Toshiba Software Engineering & Technology Center 开发。
源码仓库 : https://github.com/pgspider/pgspider_ext
此致,
Mototaka Kanematsu