文本搜索解析器负责将原始文档文本拆分为词元,并识别每个词元的类型,其中可能的类型集由解析器本身定义。请注意,解析器根本不会修改文本——它只是识别可行的单词边界。由于这种有限的范围,对应用程序特定的自定义解析器的需求远小于对自定义词典的需求。目前 PostgreSQL 只提供了一个内置解析器,该解析器已被发现对广泛的应用都很有用。
内置解析器名为 pg_catalog.default
。它识别 23 种词元类型,如 表 12.1 所示。
表 12.1. 默认解析器的词元类型
别名 | 描述 | 示例: |
---|---|---|
asciiword |
单词,所有 ASCII 字母 | elephant |
word |
单词,所有字母 | mañana |
numword |
单词,字母和数字 | beta1 |
asciihword |
带连字符的单词,全部 ASCII | up-to-date |
hword |
带连字符的单词,所有字母 | lógico-matemática |
numhword |
带连字符的单词,字母和数字 | postgresql-beta1 |
hword_asciipart |
带连字符的单词部分,全部 ASCII | postgresql 在 postgresql-beta1 的上下文中 |
hword_part |
带连字符的单词部分,所有字母 | lógico 或 matemática 在 lógico-matemática 的上下文中 |
hword_numpart |
带连字符的单词部分,字母和数字 | beta1 在 postgresql-beta1 的上下文中 |
email |
电子邮件地址 | foo@example.com |
protocol |
协议头 | http:// |
url |
URL | example.com/stuff/index.html |
host |
主机 | example.com |
url_path |
URL 路径 | /stuff/index.html ,在 URL 的上下文中 |
file |
文件或路径名 | /usr/local/foo.txt ,如果不在 URL 中 |
sfloat |
科学记数法 | -1.234e56 |
float |
十进制记数法 | -1.234 |
int |
带符号整数 | -1234 |
uint |
无符号整数 | 1234 |
version |
版本号 | 8.3.0 |
tag |
XML 标签 | <a href="dictionaries.html"> |
entity |
XML 实体 | & |
blank |
空格符号 | (任何其他未识别的空格或标点符号) |
解析器对“字母”的概念由数据库的区域设置确定,特别是 lc_ctype
。只包含基本 ASCII 字母的单词被报告为单独的词元类型,因为有时区分它们很有用。在大多数欧洲语言中,word
和 asciiword
词元类型应被视为相同。
email
不支持 RFC 5322 定义的所有有效电子邮件字符。具体来说,电子邮件用户名支持的唯一非字母数字字符是句点、连字符和下划线。
tag
不支持 W3C 推荐 XML 定义的所有有效标签名。具体来说,支持的标签名是那些以 ASCII 字母、下划线或冒号开头,并且只包含字母、数字、连字符、下划线、句点和冒号的标签名。tag
还包括以 <!--
开头和以 -->
结尾的 XML 注释,以及 XML 声明 (但请注意,这包括以 <?x
开头和以 >
结尾的任何内容)。
解析器有可能从同一段文本生成重叠的词元。例如,一个带连字符的单词将同时被报告为整个单词和每个组成部分
SELECT alias, description, token FROM ts_debug('foo-bar-beta1'); alias | description | token -----------------+------------------------------------------+--------------- numhword | Hyphenated word, letters and digits | foo-bar-beta1 hword_asciipart | Hyphenated word part, all ASCII | foo blank | Space symbols | - hword_asciipart | Hyphenated word part, all ASCII | bar blank | Space symbols | - hword_numpart | Hyphenated word part, letters and digits | beta1
这种行为是可取的,因为它允许搜索同时匹配整个复合词和组成部分。这是另一个说明性的例子
SELECT alias, description, token FROM ts_debug('http://example.com/stuff/index.html'); alias | description | token ----------+---------------+------------------------------ protocol | Protocol head | http:// url | URL | example.com/stuff/index.html host | Host | example.com url_path | URL path | /stuff/index.html
如果您在文档中看到任何不正确、与您在该特定功能上的体验不符或需要进一步澄清的内容,请使用 此表单 来报告文档问题。