我们刚刚发布了 PGSpider v4.0.0。
此版本基于 PostgreSQL 16 并修复了一些 bug。
PGSpider 是面向分布式大数据的、高性能的 SQL 集群引擎。
PGSpider 使用外部数据包装器(FDW)访问多个数据源,并垂直检索分布式数据源。
PGSpider 的用法与 PostgreSQL 相同。您可以使用任何客户端应用程序,例如 libpq 和 psql。
PGSpider 支持以下功能
多租户
用户可以通过一个 SQL 轻松获取多表中的记录。如果每个数据源中的表具有相似的模式,PGSpider 可以将它们视为单个虚拟表:我们称之为多租户表。
关于多租户表的插入,数据通过轮询算法分布式地插入到各个数据源(此规范比先前版本有所改进)。
并行处理
PGSpider 并行执行查询并从子节点获取结果。
PGSpider 将多租户表扩展到子表,为每个子表创建新线程以访问相应的数据源。
下推
WHERE 子句、聚合函数、目标列表中的 SQL 函数被下推到子节点。如果查询中的所有表都位于单个数据源中,JOIN 也会被下推。
当使用 AVG、STDDEV 和 VARIANCE 时,下推到多租户表的 JOIN 会发生错误。PGSPider 改进了此错误,PGSpider 可以执行它们。如果查询中的所有表都位于单个数据源中,JOIN 也会被下推。
此项目由 Toshiba Digital Innovation Technology Center 开发。
请参阅存储库了解详情,并请提供反馈。
源代码库:https://github.com/pgspider/pgspider
此致,
TAIGA Katayama