Redrock Postgres 搜索 英文
版本: 9.3 / 9.4 / 9.5 / 9.6 / 10 / 11 / 12 / 13 / 14 / 15 / 16

8.11. 文本搜索类型 #

8.11.1. tsvector
8.11.2. tsquery

PostgreSQL 提供了两种数据类型,旨在支持全文搜索,即在自然语言文档集合中搜索以找到与查询最匹配的文档。 tsvector 类型以针对文本搜索优化的形式表示文档; tsquery 类型以类似方式表示文本查询。 第 12 章 对此功能进行了详细说明,第 9.13 节 总结了相关函数和运算符。

8.11.1. tsvector #

tsvector 值是有序的、不重复的词素列表,词素是已经规范化的单词,可以合并同一单词的不同变体(有关详细信息,请参见第 12 章)。排序和消除重复项在输入期间自动完成,如下例所示

SELECT 'a fat cat sat on a mat and ate a fat rat'::tsvector;
                      tsvector
----------------------------------------------------
 'a' 'and' 'ate' 'cat' 'fat' 'mat' 'on' 'rat' 'sat'

要表示包含空格或标点的词素,请用引号将其引起来

SELECT $$the lexeme '    ' contains spaces$$::tsvector;
                 tsvector
-------------------------------------------
 '    ' 'contains' 'lexeme' 'spaces' 'the'

(我们在本示例和下一个示例中使用美元引号字符串文字,以避免在文字中使用双引号的混淆。)嵌入式引号和反斜杠必须加倍

SELECT $$the lexeme 'Joe''s' contains a quote$$::tsvector;
                    tsvector
------------------------------------------------
 'Joe''s' 'a' 'contains' 'lexeme' 'quote' 'the'

或者,整数位置可以附加到词素

SELECT 'a:1 fat:2 cat:3 sat:4 on:5 a:6 mat:7 and:8 ate:9 a:10 fat:11 rat:12'::tsvector;
                                  tsvector
-------------------------------------------------------------------​------------
 'a':1,6,10 'and':8 'ate':9 'cat':3 'fat':2,11 'mat':7 'on':5 'rat':12 'sat':4

位置通常指示源单词在文档中的位置。位置信息可用于邻近度排名。位置值范围为 1 到 16383;较大的数字将静默设置为 16383。同一词素的重复位置将被丢弃。

具有位置的词素可以进一步用权重标记,它可以是ABCDD是默认值,因此不会显示在输出上

SELECT 'a:1A fat:2B,4C cat:5D'::tsvector;
          tsvector
----------------------------
 'a':1A 'cat':5 'fat':2B,4C

权重通常用于反映文档结构,例如通过将标题词与正文词区分开来。文本搜索排名功能可以为不同的权重标记分配不同的优先级。

重要的是要了解tsvector类型本身不执行任何单词规范化;它假设给定的单词已针对应用程序进行了适当的规范化。例如,

SELECT 'The Fat Rats'::tsvector;
      tsvector
--------------------
 'Fat' 'Rats' 'The'

对于大多数英语文本搜索应用程序,上述单词将被视为未规范化,但tsvector并不关心。原始文档文本通常应通过to_tsvector传递,以适当规范化单词以进行搜索

SELECT to_tsvector('english', 'The Fat Rats');
   to_tsvector
-----------------
 'fat':2 'rat':3

同样,请参阅第 12 章了解更多详细信息。

8.11.2. tsquery #

tsquery值存储要搜索的词素,并可以使用布尔运算符&(AND)、|(OR)和!(NOT)以及短语搜索运算符<->(FOLLOWED BY)对其进行组合。还有 FOLLOWED BY 运算符的变体<N>,其中N是一个整数常量,指定要搜索的两个词素之间的距离。 <->等效于<1>

括号可用于强制对这些运算符进行分组。在没有括号的情况下,!(NOT)绑定最紧密,<->(FOLLOWED BY)次紧密,然后是&(AND),而|(OR)绑定最不紧密。

以下是一些示例

SELECT 'fat & rat'::tsquery;
    tsquery
---------------
 'fat' & 'rat'

SELECT 'fat & (rat | cat)'::tsquery;
          tsquery
---------------------------
 'fat' & ( 'rat' | 'cat' )

SELECT 'fat & rat & ! cat'::tsquery;
        tsquery
------------------------
 'fat' & 'rat' & !'cat'

或者,tsquery 中的词素可以用一个或多个权重字母标记,这会限制它们仅匹配具有这些权重之一的 tsvector 词素

SELECT 'fat:ab & cat'::tsquery;
    tsquery
------------------
 'fat':AB & 'cat'

此外,tsquery 中的词素可以用 * 标记以指定前缀匹配

SELECT 'super:*'::tsquery;
  tsquery
-----------
 'super':*

此查询将匹配 tsvector 中以 super 开头的任何单词。

词素的引用规则与之前描述的 tsvector 中的词素相同;并且与 tsvector 一样,在转换为 tsquery 类型之前,必须对单词进行任何必需的规范化。to_tsquery 函数便于执行此类规范化

SELECT to_tsquery('Fat:ab & Cats');
    to_tsquery
------------------
 'fat':AB & 'cat'

请注意,to_tsquery 将以与其他单词相同的方式处理前缀,这意味着此比较返回 true

SELECT to_tsvector( 'postgraduate' ) @@ to_tsquery( 'postgres:*' );
 ?column?
----------
 t

因为 postgres 被词干化为 postgr

SELECT to_tsvector( 'postgraduate' ), to_tsquery( 'postgres:*' );
  to_tsvector  | to_tsquery
---------------+------------
 'postgradu':1 | 'postgr':*

它将匹配 postgraduate 的词干形式。