Redrock Postgres 搜索 英文
版本: 9.3 / 9.4 / 9.5 / 9.6 / 10 / 11 / 12 / 13 / 14 / 15 / 16

12.1. 简介 #

12.1.1. 什么是文档?
12.1.2. 基本文本匹配
12.1.3. 配置

全文搜索(或简称文本搜索)提供了识别满足查询的自然语言文档的功能,并可以选择按与查询的相关性对它们进行排序。最常见的搜索类型是查找包含给定查询词的所有文档,并按其与查询的相似性进行排序。querysimilarity的概念非常灵活,具体取决于特定应用程序。最简单的搜索将query视为一组单词,将similarity视为查询单词在文档中的频率。

文本搜索运算符已在数据库中存在多年。PostgreSQL针对文本数据类型具有~~*LIKEILIKE运算符,但它们缺少现代信息系统所需的许多基本属性

全文索引允许对文档进行 预处理,并保存索引以供以后快速搜索。预处理包括

词典允许对标记的规范化方式进行细粒度控制。使用适当的词典,您可以

提供数据类型 tsvector 用于存储预处理文档,以及类型 tsquery 用于表示已处理查询(第 8.11 节)。这些数据类型提供了许多函数和运算符(第 9.13 节),其中最重要的一个就是匹配运算符 @@,我们在 第 12.1.2 节 中介绍了它。可以使用索引加速全文搜索(第 12.9 节)。

12.1.1. 什么是文档? #

文档 是全文搜索系统中的搜索单位;例如,杂志文章或电子邮件消息。文本搜索引擎必须能够解析文档并存储词素(关键词)与其父文档的关联。稍后,这些关联用于搜索包含查询词的文档。

对于 PostgreSQL 中的搜索,文档通常是数据库表中某一行的文本字段,或者可能是此类字段的组合(连接),可能存储在多个表中或动态获取。换句话说,可以从不同的部分构建文档以进行编制索引,并且可能不会将其全部存储在任何地方。例如

SELECT title || ' ' ||  author || ' ' ||  abstract || ' ' || body AS document
FROM messages
WHERE mid = 12;

SELECT m.title || ' ' || m.author || ' ' || m.abstract || ' ' || d.body AS document
FROM messages m, docs d
WHERE m.mid = d.did AND m.mid = 12;

注意

实际上,在这些示例查询中,应使用 coalesce 来防止单个 NULL 属性导致整个文档的 NULL 结果。

另一种可能性是将文档存储为文件系统中的简单文本文件。在这种情况下,数据库可用于存储全文索引并执行搜索,并且可以使用一些唯一标识符从文件系统中检索文档。但是,从数据库外部检索文件需要超级用户权限或特殊功能支持,因此这通常不如将所有数据保留在 PostgreSQL 中方便。此外,将所有内容保留在数据库中可以轻松访问文档元数据,以协助编制索引和显示。

出于文本搜索目的,必须将每个文档简化为预处理的 tsvector 格式。搜索和排名完全在文档的 tsvector 表示上执行——只有在选择文档以向用户显示时才需要检索原始文本。因此,我们经常将 tsvector 称为文档,但当然它只是完整文档的紧凑表示。

12.1.2. 基本文本匹配 #

PostgreSQL 中进行全文搜索基于匹配运算符 @@,如果 tsvector(文档)匹配 tsquery(查询),则返回 true。无论哪种数据类型先写都没有关系

SELECT 'a fat cat sat on a mat and ate a fat rat'::tsvector @@ 'cat & rat'::tsquery;
 ?column?
----------
 t

SELECT 'fat & cow'::tsquery @@ 'a fat cat sat on a mat and ate a fat rat'::tsvector;
 ?column?
----------
 f

如上例所示,tsquery 不仅仅是原始文本,而 tsvector 也一样。 tsquery 包含搜索词,这些词必须是已经标准化的词素,并且可以使用 AND、OR、NOT 和 FOLLOWED BY 运算符组合多个词。(有关语法详细信息,请参见 第 8.11.2 节。)有函数 to_tsqueryplainto_tsqueryphraseto_tsquery,它们有助于将用户编写的文本转换为正确的 tsquery,主要是通过标准化文本中出现的单词。类似地,to_tsvector 用于解析和标准化文档字符串。因此,在实践中,文本搜索匹配看起来更像这样

SELECT to_tsvector('fat cats ate fat rats') @@ to_tsquery('fat & rat');
 ?column?
----------
 t

请注意,如果写成以下形式,此匹配将不会成功

SELECT 'fat cats ate fat rats'::tsvector @@ to_tsquery('fat & rat');
 ?column?
----------
 f

因为这里不会对单词 rats 进行标准化。 tsvector 的元素是词素,假定已经标准化,因此 rats 不匹配 rat

@@ 运算符还支持 text 输入,允许在简单情况下跳过将文本字符串显式转换为 tsvectortsquery。可用的变体有

tsvector @@ tsquery
tsquery  @@ tsvector
text @@ tsquery
text @@ text

我们已经看到了前两个。形式 text @@ tsquery 等效于 to_tsvector(x) @@ y。形式 text @@ text 等效于 to_tsvector(x) @@ plainto_tsquery(y)

tsquery 中,&(AND)运算符指定其两个参数都必须出现在文档中才能匹配。类似地,|(OR)运算符指定其至少一个参数必须出现,而 !(NOT)运算符指定其参数必须出现才能匹配。例如,查询 fat & ! rat 匹配包含 fat 但不包含 rat 的文档。

借助 <->(FOLLOWED BY)tsquery 运算符,可以搜索短语,该运算符仅在参数具有相邻且按指定顺序匹配时匹配。例如

SELECT to_tsvector('fatal error') @@ to_tsquery('fatal <-> error');
 ?column?
----------
 t

SELECT to_tsvector('error is not fatal') @@ to_tsquery('fatal <-> error');
 ?column?
----------
 f

FOLLOWED BY 运算符有一个更通用的版本,形式为 <N>,其中 N 是一个整数,表示匹配词素位置之间的差值。<1><-> 相同,而 <2> 允许匹配之间精确出现一个其他词素,依此类推。phraseto_tsquery 函数利用此运算符构建 tsquery,当某些单词为停用词时,该函数可以匹配多单词短语。例如

SELECT phraseto_tsquery('cats ate rats');
       phraseto_tsquery
-------------------------------
 'cat' <-> 'ate' <-> 'rat'

SELECT phraseto_tsquery('the cats ate the rats');
       phraseto_tsquery
-------------------------------
 'cat' <-> 'ate' <2> 'rat'

有时很有用的一个特例是,<0> 可用于要求两个模式匹配同一个单词。

可以使用括号来控制 tsquery 运算符的嵌套。如果没有括号,| 的绑定最松散,然后是 &,然后是 <->! 最紧密。

值得注意的是,AND/OR/NOT 运算符在 FOLLOWED BY 运算符的参数中与不在参数中时含义略有不同,因为在 FOLLOWED BY 中匹配的确切位置很重要。例如,通常 !x 仅匹配不包含 x 的文档。但 !x <-> y 匹配 y,如果它不紧跟在 x 之后;文档中其他位置出现的 x 不会阻止匹配。另一个示例是 x & y 通常仅要求 xy 都出现在文档中的某个位置,但 (x & y) <-> z 要求 xy 在同一位置匹配,紧跟在 z 之前。因此,此查询的行为与 x <-> z & y <-> z 不同,后者将匹配包含两个单独序列 x zy z 的文档。(此特定查询按原样编写时毫无用处,因为 xy 无法在同一位置匹配;但在诸如前缀匹配模式等更复杂的情况下,此类形式的查询可能有用。)

12.1.3. 配置 #

以上都是简单的文本搜索示例。如前所述,全文搜索功能包括执行更多操作的能力:跳过索引某些单词(停止词)、处理同义词以及使用复杂解析,例如,不仅基于空格进行解析。此功能由文本搜索配置控制。PostgreSQL 为多种语言提供了预定义配置,您可以轻松创建自己的配置。(psql\dF 命令显示所有可用配置。)

在安装过程中,将选择适当的配置,并相应地在 postgresql.conf 中设置 default_text_search_config。如果您为整个集群使用相同的文本搜索配置,则可以使用 postgresql.conf 中的值。要在整个集群中使用不同的配置,但在任何一个数据库中使用相同的配置,请使用 ALTER DATABASE ... SET。否则,您可以在每个会话中设置 default_text_search_config

每个依赖于配置的文本搜索函数都有一个可选的 regconfig 参数,以便可以明确指定要使用的配置。default_text_search_config 仅在此参数被省略时使用。

为了更轻松地构建自定义文本搜索配置,配置由更简单的数据库对象构建。PostgreSQL 的文本搜索工具提供了四种与配置相关的数据库对象

  • 文本搜索解析器将文档分解为标记,并对每个标记进行分类(例如,作为单词或数字)。

  • 文本搜索词典将标记转换为标准形式,并拒绝停用词。

  • 文本搜索模板提供词典基础的功能。(词典仅指定模板和模板的一组参数。)

  • 文本搜索配置选择解析器和一组词典,用于对解析器生成的标记进行标准化。

文本搜索解析器和模板由低级 C 函数构建;因此,开发新解析器和模板需要 C 编程能力,并且需要超级用户权限才能将其安装到数据库中。(在 PostgreSQL 发行版的 contrib/ 区域中有一些附加解析器和模板的示例。)由于词典和配置只是对一些基础解析器和模板进行参数化和连接,因此无需特殊权限即可创建新词典或配置。创建自定义词典和配置的示例将在本章后面出现。