【TF-IDF】传统方法TF-IDF解决短文本相似度问题

机器学习算法与自然语言处理出品@公众号原创专栏作者 刘聪NLP学校 | 中国药科大学 药学信息学硕士知乎专栏 | 自然语言处理相关论文前几天写了一篇短文本相似度算法研究的文章，不过里面介绍的方法基本上都是基于词向量生成句子向量的方法。今天在这里就介绍一下传统算法TF-IDF是如何计算短文本相似度的。TF-IDF是英文Term Frequency–Inverse Document Frequency的缩写，中文叫做词频-逆文档频率。那么，TF-IDF是怎么产生的？又是从何而来呢？在一个文本中，当一个词汇出现很多次时，我们往往认为这个词是重要的，可以代表该文本。但是事实不是这样的，比如：“的”这个词，虽然在一个文本中出现很多次，但是它依然没有什么实际意义。而人们想要给文本中 ………………………………