Contents

Redis 全文检索及使用示例

序言

Redis 除了我们所熟知的缓存功能之外,还通过 RedisJSONRediSearchRedisTimeSeriesRedisBloom 等模块支持了 JSON 数据、查询与搜索(包括全文检索、向量搜索、GEO 地理位置等)、时序数据、概率计算等等扩展功能。这些模块既可以按需导入,也被全部打包到了 Redis Stack 中方便我们直接使用。

本文将会简述如何使用 Redis 进行全文检索。

Redis 全文检索

全文检索

全文检索是一种文本检索技术,其根据用户输入的词语或句子,在大量的文档数据中快速找到相关的内容。

全文检索的核心概念包括:

  • 分词:将文档(文本内容)拆分为一个个独立的词。
  • 倒排索引:一种索引类型,将词与文档进行关联,以便后续查询。
  • 相关度评分:对搜索结果的相关性进行评分。

使用示例

本文将会使用一个公开的电影数据集,构建一个电影搜索系统。

数据集

数据格式如下图所示:

https://raw.githubusercontent.com/RifeWang/images/master/redis/movie-dataset.png

为了行文方便,本文只会使用以下几个字段:

  • _id:唯一标识
  • title:电影标题
  • directors:导演
  • genres:电影类型
  • summary:内容摘要
  • rating:评分

我们使用 Redis 的 JSON 格式存储数,导入数据使用的是 JSON.SET 命令:

1
JSON.SET movieID:1 $ '{"directors":"马丁·里特","genres":["剧情","动作","西部"],"rating":8.0,"title":"野狼 Hombre","summary":"约翰·罗塞尔自幼是老罗塞尔先生从战俘中带回来并抚养他长大的,但是他生性豪放不羁……"}'

需要说明的是,Redis 是一个 key-value 数据库,JSON 只是 value 的格式之一,而 key 总是一个字符串,key 在本文中定义为了 movieID:12345 这种固定前缀加 ID 的格式。

使用 Go 批量导入的部分代码如下:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
func BuildDataset() {
	movies, _ := ReadMovieJSON()

	rds := getRedisClient()
	ctx := context.Background()
	for _, v := range movies {
		b, _ := json.Marshal(v)
		if r := rds.JSONSet(ctx, "movieID:"+v.ID, "$", b); r.Err() != nil {
			panic(r.Err())
		}
	}
}

构建索引

为了进行全文检索,我们必须要使用 FT.CREATE 构建索引:

1
2
3
4
5
6
7
8
9
FT.CREATE movies ON JSON
PREFIX 1 movieID:
LANGUAGE Chinese
SCHEMA
	$.title as title TEXT WEIGHT 3
	$.directors.*.name as directors TAG
	$.genres.* as genres TAG
	$.summary as summary TEXT
	$.rating.average as rating NUMERIC

这个命令的意思是:

  • 我们基于 JSON 数据创建了一个名为 movies 的索引
  • 该索引作用于前缀为 movieID: 的所有 key
  • 使用中文分词
  • 索引有以下字段:
    • title: 类型为 TEXT,权重为 3
    • directors: 类型为 TAG
    • genres: 类型为 TAG
    • summary: 类型为 TEXT
    • rating: 类型为 NUMERIC

索引是独立存在的,删除索引不会影响原始 key-value 数据。 在创建完索引之后,新增或修改的文档会同步构建索引,而对于创建索引之前已有的文档则会在后台异步构建索引。

使用全文检索

检索基础
  • 全文检索(任何字段包含爱情):
1
FT.SEARCH movies '爱情'
  • RETURN 返回指定字段:
1
2
FT.SEARCH movies '爱情'
    RETURN 2 title directors
  • HIGHLIGHT 高亮:
1
2
3
FT.SEARCH movies '爱情'
    RETURN 2 title directors
    HIGHLIGHT FIELDS 1 title TAGS <span> </span>
  • SORTBY 指定字段排序:
1
2
3
FT.SEARCH movies '爱情'
    RETURN 3 title directors rating
    SORTBY rating DESC
  • LIMIT offset num 分页:
1
2
3
4
FT.SEARCH movies '爱情'
    RETURN 3 title directors rating
    SORTBY rating DESC
    LIMIT 0 10
  • TEXT 指定字段全文检索(电影标题含有爱情):
1
2
FT.SEARCH movies '@title:爱情'
    RETURN 2 title directors
  • Tag 字段匹配(导演是马丁·里特):
1
2
FT.SEARCH movies '@directors:{马丁·里特}'
    RETURN 2 title directors
多条件组合
  • OR(类型是剧情或者动作):
1
2
FT.SEARCH movies '@genres:{剧情|动作}'
    RETURN 2 title directors
  • AND(类型是剧情或者动作且评分大于等于8.0):
1
2
FT.SEARCH movies '(@genres:{剧情|动作})(@rating:[8.0,+inf])'
    RETURN 3 title directors rating
前缀后缀、模糊搜索
1
2
3
4
FT.SEARCH movies '@title:爱*' RETURN 1 title
FT.SEARCH movies '@title:*情' RETURN 1 title
FT.SEARCH movies '@title:*命*' RETURN 1 title
FT.SEARCH movies '@title:%人生%' RETURN 1 title
自定义分词

与 Elasticsearch 对比,Redis 中的自定义分词这块支持比较有限,主要是:

  • 停用词:FT.CREATE 命令中的可选参数 STOPWORDS,将会影响分词
  • 同义词:FT.SYNUPDATE 命令
    • 构造同义词:FT.SYNUPDATE movies group1 爱情 凌虚
    • 那么 FT.SEARCH movies '爱情'
    • 等价于 FT.SEARCH movies '凌虚'
自定义打分

Redis 只是提供了可选几种不同的打分算法:

  • TFIDF(默认使用)
  • TFIDF.DOCNORM
  • BM25(Elasticsearch 使用的打分算法)
  • DISMAX
  • DOCSCORE
  • HAMMING
1
2
3
FT.SEARCH movies '爱情' RETURN 0
    WITHSCORES
    SCORER BM25

如果你想要其它的自定义打分,则只能通过编写扩展的方式实现了,扩展必须用 C 语言或者与 C 有接口的编程语言来写。

索引别名

为底层索引创建一个索引别名,在搜索时则使用索引别名,如果数据需要重建索引,那么只需要将索引别名指向新的底层索引即可,这种情况下搜索端不会受到任何影响。

  • 创建索引别名:
1
FT.ALIASADD aliasName movies
  • 使用索引别名进行搜索:
1
FT.SEARCH aliasName '爱情' RETURN 0
  • 更新索引别名:
1
FT.ALIASUPDATE aliasName anotherIndex
  • 删除索引别名:
1
FT.ALIASDEL aliasName

Go 示例代码

使用的是 go-redis 库:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
func cmdStringToArgs(rdscmd string) (result []interface{}) {
	re := regexp.MustCompile(`\s+`)
	slice := re.Split(rdscmd, -1)
	for _, v := range slice {
		if v != "" && v != " " {
			result = append(result, v)
		}

	}
	return
}

func ExcuteCommand(rdscmd string) {
	rds := getRedisClient()
	ctx := context.Background()

	args := cmdStringToArgs(rdscmd)

	res, err := rds.Do(ctx, args...).Result()
	if err != nil {
		panic(err)
	}
	fmt.Println("RESULT:", res)
}

测试代码:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
func TestExcuteCommand(t *testing.T) {
	cases := []string{
		// 全文检索(任何字段包含爱情):
		`FT.SEARCH movies '爱情'`,

		// RETURN 返回指定字段:
		`FT.SEARCH movies '爱情' RETURN 2 title directors`,

		// ......
	}
	for _, v := range cases {
		ExcuteCommand(v)
	}
}

总结

相较于 Elasticsearch 这个全文搜索领域的榜一大哥,Redis 支持的功能特性比较少(例如自定义分词和打分),但是基本的全文检索功能也都具备了。

笔者曾见过只有几十万数据却整了三台 Elasticsearch 集群的情况,这实在是大炮打蚊子、严重浪费资源。如果数据体量比较小,而且检索的使用场景也比较简单,那么使用 Redis 不仅足够,在性能方面还能有更大的优势。


参考资料: