现在的数据量是 1.5kw 左右，内容是 20 个以内的汉字，使用的 ik-skart 分词器。
This topic created in 2358 days ago, the information mentioned may be changed or developed.
 |
1
可以用 collapse 合并，不过要注意这个时候返回的 total_hit 仍旧是不合并的数目，如果要翻页的话那就配合 aggs/cardinality 来计算合并后的数量。还有 collapse 只能应用在 keyword 和 num 类型的字段上。
|
1 |
zxc12300123May 22, 2020
2
你这是要根据自然语言相似度去重吧
|
 |
pmispigMay 22, 2020
3
看你是一次性的还是周期的长期的
要是一次性的话，感觉可以分页排序查询，在查询逻辑里做判断，然后删除重复的 id 文档 |
 |
4
@zxc12300123 是的 存储的数据类型是 TEXT
|
|
5
@bolide2005 好 我去研究一下
|
|
zxc12300123May 22, 2020 via iPhone
6
@zhangxu128 余弦定理去重后再放进 ES
|
 |
NostalgiaJan 30, 2023
7
@bolide2005 老哥，问下现在（ 2023.01 ）有更方便的获取 collapse 合并结果数目了么？现在有这个需求，但上面的方法有点儿丑陋呀
|
|
8
@Nostalgia #7 有几年没有关注这块了，不好意思，没有更新的消息能给到你
|
Select Language