JDBC 42.3.0 已发布。
pgmetrics 1.12,一个用于 PostgreSQL 指标的命令行工具,已发布。
StackGres 1.0.0,一个在 Kubernetes 上运行 PostgreSQL 的平台,已发布。https://stackgres.io/
pgexporter 0.2.0,一个 PostgreSQL 的 Prometheus exporter,已发布
pgAdmin4 6.1,一个用于 PostgreSQL 的 Web 和原生 GUI 控制中心,已发布。
https://archives.postgresql.org/pgsql-jobs/2021-10/
Planet PostgreSQL:https://planet.postgresql.org/
本周 PostgreSQL 周报由 David Fetter 提供。
请在太平洋标准时间(PST8PDT)周日晚上3:00之前将新闻和公告发送至 david@fetter.org。
Michaël Paquier 提交
修复 psql 新 TAP 测试的可移植性问题。c0280bc 和 d9ddc50 在 001_basic.pl 中添加的测试引入了直接调用 psql 的命令,使其对环境敏感。一个问题是这些命令忘记了 -X 来不使用本地 .psqlrc,导致所有这些测试失败,如果 psql 无法正确解析该文件。TAP 测试应设计成独立运行,不依赖于运行它们的环境。由于 PostgresNode::psql 已经提供了这些新测试所需的所有设施,因此切换到它而不是直接调用 psql 命令(当需要与后端交互时)。稍微重构了测试,以便能够检查 stdout 和 stderr 的预期模式,保持与之前相同的覆盖范围。报告人:Peter Geoghegan 讨论:https://postgr.es/m/CAH2-Wzn8ftvcDPwomn+y04JJzbT=TG7TN=QsmSEATUOW-ZuvQQ@mail.gmail.com https://git.postgresql.org/pg/commitdiff/384f1abdb9b0f669279fcd57ba2173eb31724740
在事务中止期间正确重置快照导出状态。在创建复制槽的过程中,同一事务中生成的 ERROR(与创建待导出快照的事务相同)会导致后端处于不一致状态,因为关联的静态导出快照状态在事务中止时未被重置,而仅在 WAL 发送器收到的后续命令中被重置(该命令是在复制槽创建时创建此快照的)。如果该会话尝试再次导出快照(例如在创建复制槽时),这将触发不一致失败。请注意,快照导出不能在事务块中发生,因此无需担心重置子事务中止的状态。此外,这种不一致状态非常不可能暴露给用户。例如,一种可能发生的情况是在构建初始待导出快照时出现内存不足的错误。Dilip 在研究另一个补丁时发现了这个问题,该补丁导致此代码路径因与 HEAD 无关的原因而发生错误。作者:Dilip Kumar 审阅者:Michael Paquier, Zhihong Yu 讨论:https://postgr.es/m/CAFiTN-s0zA1Kj0ozGHwkYkHwa5U0zUE94RSc_g81WrpcETB5=w@mail.gmail.com 向后移植到:9.6 https://git.postgresql.org/pg/commitdiff/409f9ca4471331be0f77b665ff3a1836a41de5b3
阻止对 ALTER INDEX/TABLE index_name ALTER COLUMN colname SET (options) 进行操作。在具有列名的索引上运行此命令的语法在解析器中一直被授权,并且从未被文档化。自 911e702 以来,可以在 CREATE INDEX 时定义操作类参数,这实际上破坏了旧的 ALTER INDEX/TABLE 情况,其中 n_distinct 和 n_distinct_inherited 等关系级参数可以为索引定义(参见 76a47c0 及其讨论,该点仍然未被使用)。在 v13~ 中尝试这样做会导致索引变得不可用,因为有一个新的专用代码路径来加载操作类参数,而不是之前可用的关系级参数。请注意,可以通过手动目录更新来修复问题,以使关系恢复联机。此提交暂时禁用此命令,因为使用列名进行索引操作无论如何都没有意义,尤其是在索引表达式中名称是自动计算的情况下。未来正确支持此情况的一种方法是使用列号,就像 ALTER INDEX .. ALTER COLUMN .. SET STATISTICS 一样。分区索引已被阻止,但普通索引未被阻止。为两种情况添加了一些测试。ANALYZE 中有一些代码用于强制使用 n_distinct 用于索引表达式(如果定义了该参数),但目前将其删除,直到/如果支持此功能(请注意,索引级参数之前在 pg_dump 中也从未得到支持),因此这只是死代码。报告人:Matthijs van der Vleuten 作者:Nathan Bossart, Michael Paquier 审阅者:Vik Fearing, Dilip Kumar 讨论:https://postgr.es/m/17220-15d684c6c2171a83@postgresql.org 向后移植到:13 https://git.postgresql.org/pg/commitdiff/fdd88571454e2b00dbe446e8609c6e4294ca89ae
修复 MSVC 与 OpenSSL 3.0.0 的构建。Visual Studio 的构建脚本将因检查第二个数字失败而无法正确检测到 3.0.0 的构建。这已根据需要进行了调整,允许构建完成。请注意,文档中提到的 OpenSSL 的 MSI 对于 Win32 和 Win64 库名称没有改变,因此此更改很简单。报告人:htalaco (通过 github) 审阅者:Daniel Gustafsson 讨论:https://postgr.es/m/YW5XKYkq6k7OtrFq@paquier.xyz 向后移植到:9.6 https://git.postgresql.org/pg/commitdiff/41f30ecc29c89285d3eecd435906c4e9cb048be4
修复从模板数据库复制依赖项时 pg_shdepend 损坏。为新数据库使用带有需要复制的共享依赖项的模板数据库会导致 pg_shdepend 损坏,因为用于插入具有槽的值的索引号的计算存在一个偏移错误。此问题由 e3931d0 引入。监控代码的其他部分,没有类似的错误。报告人:Sven Klemm 作者:Aleksander Alekseev 审阅者:Daniel Gustafsson, Michael Paquier 讨论:https://postgr.es/m/CAJ7c6TP0AowkUgNL6zcAK-s5HYsVHVBRWfu69FRubPpfwZGM9A@mail.gmail.com 向后移植到:14 https://git.postgresql.org/pg/commitdiff/98ec35b0bbf6003e89fc06aa140e12fd90bbad47
文档:描述 pg_receivewal 的流式传输开始的计算方法。文档关于 WAL 流式传输的起始 LSN 的说明不够精确,如果本地归档目录(使用 pg_receivewal 命令定义)中找不到任何内容,则在此问题上更详细地说明。摘录自同一作者的一大块补丁。作者:Ronan Dunklau, Michael Paquier 讨论:https://postgr.es/m/18708360.4lzOvYHigE@aivenronan 向后移植到:10 https://git.postgresql.org/pg/commitdiff/1e9475694b0ae2cf1204d01d2ef6ad86f3c7cac8
Heikki Linnakangas 提交
用简单的平衡 k 路合并算法替换多相合并算法。多相合并的优点是它可以高效地重用输入磁带作为输出磁带,但这在现代硬件上无关紧要,因为我们可以轻松模拟任意数量的磁带驱动器。合并期间我们可以/应该使用的输入磁带数量受 work_mem 限制,但我们当前不写入的输出磁带只占用少量内存,因此没有必要吝啬它们。这使得需要多次合并传递的排序更快。讨论:https://postgresql.ac.cn/message-id/420a0ec7-602c-d406-1e75-1ef7ddc58d83%40iki.fi 审阅者:Peter Geoghegan, Zhihong Yu, John Naylor https://git.postgresql.org/pg/commitdiff/65014000b351d5725eb00d133416ab1b4f8245b1
重构 LogicalTapeSet/LogicalTape 接口。所有磁带函数,如 LogicalTapeRead 和 LogicalTapeWrite,现在都以 LogicalTape 作为参数,而不是 LogicalTapeSet+磁带编号。您可以在单个 LogicalTapeSet 中创建任意数量的 LogicalTapes,并且不必在创建磁带集时预先决定数量。这简化了 nodeAgg.c 中哈希聚合溢出的磁带管理。讨论:https://postgresql.ac.cn/message-id/420a0ec7-602c-d406-1e75-1ef7ddc58d83%40iki.fi 审阅者:Peter Geoghegan, Zhihong Yu, John Naylor https://git.postgresql.org/pg/commitdiff/c4649cce39a41b27db874e75ddd47adaec1b0ea4
修复 elog 中格式修饰符。之前的提交 65014000b3 将传递给 elog 的变量从 int64 更改为 size_t 变量,但忽略了相应更改格式字符串中的修饰符。根据 buildfarm 成员 lapwing 的故障。 https://git.postgresql.org/pg/commitdiff/0bd65a3905706927cdd6b3158b6457c1c854471b
修复重复的 typedef LogicalTape。使 buildfarm 成员 locust 满意。 https://git.postgresql.org/pg/commitdiff/aa3ac6453b28049b3198433b75228271b7612d4a
修复由平衡合并补丁损坏的并行排序。在并行工作进程中跳过了每个合并迭代中初始化磁带的代码。在重新定位补丁时,我将 !WORKER(state) 检查放错了位置。这导致了 'multiple-row-versions' 隔离测试中索引构建的失败,在多个 buildfarm 成员上。在我的笔记本电脑上,通过在更大的表上构建索引可以更容易地重现,这样就可以更可靠地获得并行排序。 https://git.postgresql.org/pg/commitdiff/fc0f3b4cb0e882a9c5d51c302d4aa3591e4f80fd
Álvaro Herrera 提交
使正在附加/分离的表的子分区失效。未能做到这一点,对这些分区的任何直接插入/更新都将无法强制执行正确的约束,即考虑其父表的新分区约束的约束。回溯到 10。报告人:Hou Zhijie houzj.fnst@fujitsu.com 作者:Amit Langote amitlangote09@gmail.com 作者:Álvaro Herrera alvherre@alvh.no-ip.org 审阅者:Nitin Jadhav nitinjadhavpostgres@gmail.com 审阅者:Pavel Borisov pashkin.elfe@gmail.com 讨论:https://postgr.es/m/OS3PR01MB5718DA1C4609A25186D1FBF194089%40OS3PR01MB5718.jpnprd01.prod.outlook.com https://git.postgresql.org/pg/commitdiff/d6f1e16c8fe27100e371a15aeeb498faa680ceed
在 ALTER ... RENAME 中确保使用正确的锁级别。提交 1b5d797cd4f7 旨在放宽重命名索引使用的锁级别,但无意中允许任何关系都以较低的锁级别进行重命名,只要命令拼写为 ALTER INDEX。对于其他关系类型来说,这是不可取的,因此如果关系不是索引,则尝试使用较高的锁级别重试操作。在此修复后,ALTER INDEX
保护测试中的排序差异。讨论:https://postgr.es/m/YW/MYdSRQZtPFBWR@paquier.xyz https://git.postgresql.org/pg/commitdiff/cd124d205c42a623b68cd155ace94cc376851b78
Daniel Gustafsson 提交
修复 pg_basebackup 和 pg_dump 中的 sscanf 限制。确保字符串解析受到目标缓冲区大小的限制。在 pg_basebackup 中,服务器发送的可用值限制为两个字符,因此没有溢出风险。在 pg_dump 中,缓冲区由 MAXPGPATH 限制,因此必须通过预处理器展开插入限制,并将缓冲区增加一个以容纳终止符。这里没有溢出风险,因为在这种情况下,扫描的缓冲区比目标缓冲区小。将 pg_basebackup 的修复回溯到引入它的 11 版本,并将 pg_dump 的修复回溯到 9.6。审阅者:Tom Lane 讨论:https://postgr.es/m/B14D3D7B-F98C-4E20-9459-C122C67647FB@yesql.se 向后移植到:11 和 9.6 https://git.postgresql.org/pg/commitdiff/1d7641d51a51aa00dff685022fab6c03be8f8af8
修复 TOC 文件错误消息打印中的错误。如果 blob TOC 文件无法解析,错误消息将无法打印文件名,因为保存它的变量被解析的目标缓冲区所覆盖。当文件名解析失败时,错误将打印一个空字符串:“./pg_restore -d foo -F d dump pg_restore: error: invalid line in large object TOC file "":..”,而不是预期的错误消息:“./pg_restore -d foo -F d dump pg_restore: error: invalid line in large object TOC file "dump/blobs.toc":..”。通过重命名两个变量来修复,因为共享名称太通用,无法同时存储两者并传达变量的内容。回溯到 9.6。审阅者:Tom Lane 讨论:https://postgr.es/m/A2B151F5-B32B-4F2C-BA4A-6870856D9BDE@yesql.se 向后移植到:9.6 https://git.postgresql.org/pg/commitdiff/998d060f3db79c6918cb4a547695be150833f9a4
重构 sslfiles Makefile 目标以方便使用。Makefile 处理 TLS 测试使用的证书和密钥对变得相当难以处理。添加新证书而无需重新生成所有内容过于复杂。此补丁重构了 sslfiles make 目标,使得添加新证书只需要添加一个 .config 文件,将其添加到 Makefile 的顶部,然后运行 make sslfiles。改进:- 文件依赖关系应已修复,CRL 目录除外。- 新证书的序列号基于当前时间,减少了冲突的可能性。- CA 索引状态按需创建,并在 Make 运行结束时自动清理。- `*.config` 文件现在是自包含的;一个证书需要一个配置文件而不是两个。- 重复代码减少,并随之减少了一些不必要的代码(和可能的复制粘贴错误)。- 所有配置文件都放在 conf/ 目录下。该目标已移动到其自己的 makefile 中,以避免与全局 make 设置冲突。作者:Jacob Champion pchampion@vmware.com 审阅者:Michael Paquier michael@paquier.xyz 讨论:https://postgr.es/m/d15a9838344ba090e09fd866abf913584ea19fb7.camel@vmware.com https://git.postgresql.org/pg/commitdiff/b4c4a00eada3c512e819e9163114a5ad1606bc7e
修复 32 位 Perl 上的 SSL 测试。证书序列号生成在 b4c4a00ea 中更改为使用当前时间戳。因此,testharness 必须使用 "openssl x509" 来查询证书的序列号,该命令以十六进制格式发出序列号。将序列号转换为整数格式以匹配 pg_stat_ssl 中使用的格式需要一个 64 位兼容的 Perl。这在 32 位 Perl 测试时增加了回退到检查整数的选项。根据 buildfarm 成员 prairiedog 的故障。讨论:https://postgr.es/m/0D295F43-806D-4B3F-AB98-F941A19E0271@yesql.se https://git.postgresql.org/pg/commitdiff/0c04342b1d3dd5b24f795f94874163be8e21710e
Tom Lane 提交
删除 transformExpressionList() 中无效的断言。我认为当我在提交 8f889b108 中添加此断言时,我只考虑了 transformExpressionList 在 INSERT 和 VALUES 的顶层使用。但它也可以由 transformRowExpr() 调用,后者肯定会出现在 UPDATE 目标列表中,因此不能假设 p_multiassign_exprs 必须为空。此外,由于不期望输入包含 ResTargets,因此它也没有理由包含 MultiAssignRefs。因此,此代码无需担心 p_multiassign_exprs 的状态,我们应该删除该断言。根据 bug #17236 (来自 ocean_li_996)。它错误了多年,因此回溯到所有支持的分支。讨论:https://postgr.es/m/17236-3210de9bcba1d7ca@postgresql.org https://git.postgresql.org/pg/commitdiff/697dd1925f418c9f54ee1fd1cefbc613d6504b1f
修复复合类型上域数组的赋值。更新“UPDATE ... SET fld[n].subfld = whatever”在数组元素是域而不是普通复合类型时失败。这是因为 isAssignmentIndirectionExpr() 未能处理在这种情况下出现在表达式树中的 CoerceToDomain 节点。结果通常会导致崩溃,即使我们意外地没有崩溃,我们也无法正确保留同一数组元素的其他字段。根据 Onder Kalaci 的报告。回溯到 v11,域数组是在那时引入的。讨论:https://postgr.es/m/PH0PR21MB132823A46AA36F0685B7A29AD8BD9@PH0PR21MB1328.namprd21.prod.outlook.com https://git.postgresql.org/pg/commitdiff/3e310d837a9b3de8ad977c0a3e2a769bcdf61cc9
pg_dump:重组 getTables()。与 047329624、ed2c7f65b 和 daa9fe8a5 类似,通过只保留服务器版本通用的查询部分的一个副本,减少代码重复;并使条件控制的代码量尽可能小。这也消除了我们之前在这里拥有的各种方式实现的令人困惑的组合。顺便说一下,确保函数中所有三个相关部分都以相同的顺序列出字段。这当然只是为了整洁。讨论:https://postgr.es/m/1240992.1634419055@sss.pgh.pa.us https://git.postgresql.org/pg/commitdiff/4438eb4a495c977d8ac485dd6e544c2b6e077deb
改进 pg_regress.c 发出 psql 命令的基础设施。支持对单个 psql 调用发出多个 "-c command" 开关。这允许将一些以前需要两次或更多次后端启动才能完成的操作合并到单个会话中。特别是,我们可以将 DROP DATABASE 作为 -c 命令之一发出,而不会出现“DROP DATABASE 不能在事务块内运行”。除了减少所需的会话数量外,此补丁还抑制了以前在 pg_regress 的 DROP DATABASE(或 ROLE)IF NOT EXISTS 调用期间生成的“NOTICE: database "foo" does not exist, skipping”杂音。这使我们离目标更近了一步,即在成功构建/测试期间不看到任何消息。这也消除了对发出的命令长度的一些硬编码限制。我认为我们还没有接近触及这些限制,但摆脱限制令人安心。补丁由我提供,但感谢 Nathan Bossart 启动了讨论。讨论:https://postgr.es/m/DCBAE0E4-BD56-482F-8A70-7FD0DC0860BE@amazon.com https://git.postgresql.org/pg/commitdiff/f45dc59a38cab1d2af6baaedb79559fe2e9b3781
文档:澄清 simplehash.h 的一个关键且未被记录的方面。我刚刚因为尝试使用 pg_malloc 而不是 pg_malloc0 而被它坑了。通过不让这个 API 细节未被记录,为下一个黑客节省一些时间。 https://git.postgresql.org/pg/commitdiff/b1ce6c284366ce1dae120f5d10dd59e8804322ee
pg_dump:修复了错误转储非全局默认权限。非全局默认权限条目应按原样转储,而不是相对于其对象类型的默认 ACL。这通常只在您撤销了全局条目中某些默认启用的权限,然后在非全局条目中再次授予它们时才重要。根据 Boris Korzun 的报告。这是一个旧错误,因此回溯到所有支持的分支。Neil Chen,测试用例由 Masahiko Sawada 提供 讨论:https://postgr.es/m/111621616618184@mail.yandex.ru 讨论:https://postgr.es/m/CAA3qoJnr2+1dVJObNtfec=qW4Z0nz=A9+r5bZKoTSy5RDjskMw@mail.gmail.com https://git.postgresql.org/pg/commitdiff/2acc84c6fd299125702c8a8af13820abcc0d4891
修复 simplehash.h 中前端版本的 sh_error()。代码不期望 sh_error() 返回,但使此头文件在前端可用的补丁并未注意到这一点。在此过程中,将 unlikely() 应用于决定是否调用 sh_error() 的测试,并添加了我们标准的版权声明。由 Andres Freund 注意到。回溯到 v13,当时引入了此前端支持。讨论:https://postgr.es/m/0D54435C-1199-4361-9D74-2FBDCF8EA164@anarazel.de https://git.postgresql.org/pg/commitdiff/974aedcea46dfd0119eea2fbb2eeacd232596f05
在 pg_dump 中,使用 simplehash.h 按 OID 查找可转储对象。创建一个按 CatalogId(即目录 OID + 对象 OID)索引可转储对象的哈希表。使用它来替换以前的 catalogIdMap 数组,以及各种其他单个目录索引数组,以及扩展成员映射。原则上,这对于具有许多对象的数据库应该更快,因为查找现在是 O(1) 而不是 O(log N)。然而,这些查找在上下文中几乎可以忽略不计,因此无法测量整体性能变化。但只有一个查找数据结构需要维护,这使得代码更简单、更灵活,所以我们还是这样做吧。讨论:https://postgr.es/m/2595220.1634855245@sss.pgh.pa.us https://git.postgresql.org/pg/commitdiff/92316a4582a5714d4e494aaf90360860e7fec37a
修复 pg_dump 中的少量内存泄漏。我通过在 "valgrind --leak-check=full" 下运行 pg_dump 来发现这些问题。flagInhIndexes() 和 getIndexes() 中的更改将分配一个数组(我们只使用其中一些元素)替换为仅分配实际需要的对象的单个分配。之前的编码浪费了一些内存,但更重要的是它混淆了 valgrind 的泄漏跟踪。collectComments() 和 collectSecLabels() 仍然是 valgrind 报告中的主要污点,因为它们没有 PQclear 它们的查询结果,以避免大量的 strdup。这是一个有争议的权衡,但我会在这里放着不管;即将进行的补丁将修改这些函数,足以更改此权衡。 https://git.postgresql.org/pg/commitdiff/70bef494000e4dbbeca0f0a40347ca1747aea701
Andres Freund 提交
Amit Kapila 提交
Andrew Dunstan 推送
将模块构建目录添加到 TAP 测试的 PATH。对于非 MSVC 构建,这是 make 的 $(CURDIR),而对于 MSVC 构建,它是 $topdir/$Config/$module。该目录被添加到 PATH 的第二个元素,以便安装位置优先,但添加的 PATH 元素优先于 PATH 的其余部分。这样做的原因是为了允许测试找到未安装的构建产品,例如 libpq_pipeline 测试驱动程序。libpq_pipeline 测试已调整为利用此功能。基于 Andres Freund 的建议。回溯到 14 版本。讨论:https://postgr.es/m/4941f5a5-2d50-1a0e-6701-14c5fefe92d6@dunslane.net https://git.postgresql.org/pg/commitdiff/f4ce6c4d3a30ec3a12c7f64b90a6fc82887ddd7b
将 Perl 测试模块移至更好的命名空间。我们 TAP 测试框架中的五个模块都位于顶层命名空间。这是不明智的,因为即使我们不将它们导出到 CPAN,这些名称也可能泄露,例如如果它们被 RPM 构建过程导出。因此,我们将模块移动到 PostgreSQL::Test 命名空间。在此过程中,PostgresNode 被重命名为 Cluster,TestLib 被重命名为 Utils。PostgresVersion 变为 PostgreSQL::Version,以避免混淆它是什么的版本。讨论:https://postgr.es/m/aede93a4-7d92-ef26-398f-5094944c2504@dunslane.net 由 Erik Rijkers 和 Michael Paquier 审阅 https://git.postgresql.org/pg/commitdiff/b3b4d8e68ae83f432f43f035c7eb481ef93e1583
Noah Misch 推送
避免 RelationBuildDesc() 中影响 CREATE INDEX CONCURRENTLY 的竞态条件。CIC 和 REINDEX CONCURRENTLY 假定后端看到的目录更改不晚于每个后端下一次事务开始。当后端在运行 CIC 索引的 RelationBuildDesc() 过程中吸收了相关的无效化时,这种情况会失败。使用由此产生的索引的查询可能会悄悄地找不到行。通过使 RelationBuildDesc() 循环直到它完成而无需接受相关无效化来修复未来的索引构建。可能需要重新索引才能从过去的事件中恢复;REINDEX CONCURRENTLY 即可。回溯到 9.6(所有支持的版本)。Noah Misch 和 Andrey Borodin,由 Andres Freund 审阅(在早期版本中)。讨论:https://postgr.es/m/20210730022548.GA1940096@gust.leadboat.com https://git.postgresql.org/pg/commitdiff/fdd965d074d46765c295223b119ca437dbcac973
修复针对最新准备事务的 CREATE INDEX CONCURRENTLY。提交 8a54e12a38d1545d249f1402f66c8cde2837d97c 的目的是修复此问题,并且在 PREPARE TRANSACTION 在 CIC 查找锁冲突之前完成时就足够了。否则,事情仍然会出错。与以前一样,在已启用准备事务的情况下使用 CIC 的集群中,使用由此产生的索引的查询可能会悄悄地找不到行。可能需要重新索引才能从过去的事件中恢复;REINDEX CONCURRENTLY 即可。通过使 CIC 等待任意近期的准备事务以及可能尚未 PREPARE TRANSACTION 的普通事务来修复未来的索引构建。作为其中的一部分,让 PREPARE TRANSACTION 在调用 ProcArrayClearTransaction() 之前将锁转移到其虚拟 PGPROC。回溯到 9.6(所有支持的版本)。Andrey Borodin,由 Andres Freund 审阅(在早期版本中)。讨论:https://postgr.es/m/01824242-AA92-4FE9-9BA7-AEBAFFEA3D0C@yandex-team.ru https://git.postgresql.org/pg/commitdiff/3cd9c3b921977272e6650a5efbeade4203c4bca2