Parquet S3 FDW 1.0.0 发布
发布于 2023-01-20，作者 Toshiba
相关开源项目
我们刚刚发布了 Amazon S3 上的 Parquet 文件外部数据包装器 (Foreign Data Wrapper) 的 1.0.0 版本。
此版本可与 PostgreSQL 13, 14 和 15 配合使用。
此版本改进了以下项目 (相较于 0.3.0)
- 支持 PostgreSQL 15.0
- 支持修改功能
- 支持 aws 区域和端点选项
- 修复文件名包含空格时出现的重复数据问题
- 允许在没有键列的情况下插入
FDW 支持以下功能
- 支持在本地文件系统或 Amazon S3 上 SELECT Parquet 文件
- 支持 INSERT, DELETE, UPDATE (外部修改)。
- 支持 MinIO 访问，而非 Amazon S3。
- 允许控制外部服务器在事务完成后是否保持连接打开。这由 keep_connections 控制，默认为开启。
- 支持 parquet_s3_fdw 函数 parquet_s3_fdw_get_connections() 来报告打开的外部服务器连接。
- 支持通过指定目录路径，为目录中的多个文件创建外部表。
- 支持无模式模式，该模式允许使用 jsonb 类型列访问数据文件中的元素，而无需更改表定义。
该项目由 Toshiba Software Engineering & Technology Center 开发。
更多详情请参阅仓库。
源代码库 : https://github.com/pgspider/parquet_s3_fdw