如
1 这是一个标题
2 嗨,你好
3 这也是一个标题
4 很久不见
5 黑咖啡不加糖
这里面有两条(1和3)的相似度是极高的,怎么筛选出来?至少有一个相似内容的。
group by 不行,只能是完全一模一样的~
MySQL如何查询到有类似内容的行?
如
1 这是一个标题
2 嗨,你好
3 这也是一个标题
4 很久不见
5 黑咖啡不加糖
这里面有两条(1和3)的相似度是极高的,怎么筛选出来?至少有一个相似内容的。
group by 不行,只能是完全一模一样的~
sphinx
mysql实现不了的
兄弟,你要实现啥功能?
你说的这可不是一个SQL能完成的功能,这个是搜索引擎的功能,这个功能涉及到机器学习方面的算法一般人没法处理的。
你看一下 阿里云 的服务,有个搜索引擎的服务,你可以把数据导入他们的搜索引擎,然后通过接口来调用。
数据量大的时候两个两个做编辑距离都不可能了 就算分词-特征提取-VSM-聚类也只能保证词一样 顺序未必一致 不过也两两编辑靠谱多了