Parquet S3 FDW 1.0.0 发布

发布于 2023-01-20,作者:东芝
相关开源

我们刚刚发布了用于 Amazon S3 上 Parquet 文件的 Foreign Data Wrapper 的 1.0.0 版本。

此版本可以与 PostgreSQL 13、14 和 15 一起使用。

此版本改进了以下内容(从 0.3.0 版本开始):

  • 支持 PostgreSQL 15.0
  • 支持修改功能
  • 支持 aws 区域和端点选项
  • 修复文件名包含空格时出现重复数据的问题
  • 允许在没有键列的情况下插入数据

该 FDW 支持以下功能:

  • 支持选择本地文件系统或 Amazon S3 上的 Parquet 文件
  • 支持 INSERT、DELETE、UPDATE(外部修改)。
  • 支持使用 MinIO 替代 Amazon S3 进行访问。
  • 允许控制外服务器在事务完成后是否保持连接打开。这由 keep_connections 控制,默认为开启。
  • 支持 parquet_s3_fdw 函数 parquet_s3_fdw_get_connections() 来报告打开的外部服务器连接。
  • 支持通过指定目录路径为目录中的多个文件创建外部表。
  • 支持无模式模式,允许通过使用 jsonb 类型列访问数据文件中的元素,而无需更改表定义。

这是由东芝软件工程与技术中心开发的。
请查看存储库了解详情。
源代码仓库:https://github.com/pgspider/parquet_s3_fdw