2025年9月25日: PostgreSQL 18 发布!
支持的版本: 当前 (18) / 17 / 16 / 15 / 14 / 13
开发版本: devel
不支持的版本: 12 / 11 / 10 / 9.6 / 9.5 / 9.4 / 9.3 / 9.2 / 9.1 / 9.0 / 8.4 / 8.3

12.5. 解析器 #

文本搜索解析器负责将原始文档文本拆分为词元,并识别每个词元的类型,其中可能的类型集由解析器本身定义。请注意,解析器根本不会修改文本——它只是识别可行的单词边界。由于这种有限的范围,对应用程序特定的自定义解析器的需求远小于对自定义词典的需求。目前 PostgreSQL 只提供了一个内置解析器,该解析器已被发现对广泛的应用都很有用。

内置解析器名为 pg_catalog.default。它识别 23 种词元类型,如 表 12.1 所示。

表 12.1. 默认解析器的词元类型

别名 描述 示例:
asciiword 单词,所有 ASCII 字母 elephant
word 单词,所有字母 mañana
numword 单词,字母和数字 beta1
asciihword 带连字符的单词,全部 ASCII up-to-date
hword 带连字符的单词,所有字母 lógico-matemática
numhword 带连字符的单词,字母和数字 postgresql-beta1
hword_asciipart 带连字符的单词部分,全部 ASCII postgresqlpostgresql-beta1 的上下文中
hword_part 带连字符的单词部分,所有字母 lógicomatemáticalógico-matemática 的上下文中
hword_numpart 带连字符的单词部分,字母和数字 beta1postgresql-beta1 的上下文中
email 电子邮件地址 foo@example.com
protocol 协议头 http://
url URL example.com/stuff/index.html
host 主机 example.com
url_path URL 路径 /stuff/index.html,在 URL 的上下文中
file 文件或路径名 /usr/local/foo.txt,如果不在 URL 中
sfloat 科学记数法 -1.234e56
float 十进制记数法 -1.234
int 带符号整数 -1234
uint 无符号整数 1234
version 版本号 8.3.0
tag XML 标签 <a href="dictionaries.html">
entity XML 实体 &amp;
blank 空格符号 (任何其他未识别的空格或标点符号)

注意

解析器对字母的概念由数据库的区域设置确定,特别是 lc_ctype。只包含基本 ASCII 字母的单词被报告为单独的词元类型,因为有时区分它们很有用。在大多数欧洲语言中,wordasciiword 词元类型应被视为相同。

email 不支持 RFC 5322 定义的所有有效电子邮件字符。具体来说,电子邮件用户名支持的唯一非字母数字字符是句点、连字符和下划线。

tag 不支持 W3C 推荐 XML 定义的所有有效标签名。具体来说,支持的标签名是那些以 ASCII 字母、下划线或冒号开头,并且只包含字母、数字、连字符、下划线、句点和冒号的标签名。tag 还包括以 <!-- 开头和以 --> 结尾的 XML 注释,以及 XML 声明 (但请注意,这包括以 <?x 开头和以 > 结尾的任何内容)。

解析器有可能从同一段文本生成重叠的词元。例如,一个带连字符的单词将同时被报告为整个单词和每个组成部分

SELECT alias, description, token FROM ts_debug('foo-bar-beta1');
      alias      |               description                |     token
-----------------+------------------------------------------+---------------
 numhword        | Hyphenated word, letters and digits      | foo-bar-beta1
 hword_asciipart | Hyphenated word part, all ASCII          | foo
 blank           | Space symbols                            | -
 hword_asciipart | Hyphenated word part, all ASCII          | bar
 blank           | Space symbols                            | -
 hword_numpart   | Hyphenated word part, letters and digits | beta1

这种行为是可取的,因为它允许搜索同时匹配整个复合词和组成部分。这是另一个说明性的例子

SELECT alias, description, token FROM ts_debug('http://example.com/stuff/index.html');
  alias   |  description  |            token
----------+---------------+------------------------------
 protocol | Protocol head | http://
 url      | URL           | example.com/stuff/index.html
 host     | Host          | example.com
 url_path | URL path      | /stuff/index.html

提交更正

如果您在文档中看到任何不正确、与您在该特定功能上的体验不符或需要进一步澄清的内容,请使用 此表单 来报告文档问题。