1. 介绍
TF-IDF（Term Frequency-Inverse Document Frequency，词频-逆文件频率）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。这种计算方式能有效避免常用词对关键词的影响，提高了关键词与文章之间的相关性。
2. 作用与目的
TF-IDF广泛应用于自然语言处理和信息检索领域的各种任务，包括关键词提取、文本分类、文本相似度计算等4。通过计算文章中各个词的TF-IDF，由大到小排序，排在最前面的几个词，就是该文章的关键词。这样，TF-IDF可以帮助我们从大量文本数据中提取出有价值的信息，从而进行更深入的分析和研究。
3. 实现原理
TF-IDF分为两部分：TF和IDF。TF (Term Frequency, 词频) 表示词条在文本中出现的频率，这个数字通常会被归一化 (一般是词频除以文章总词数)，以防止它偏向长的文件。IDF (Inverse Document Frequency, 逆文件频率)表示关键词的普遍程度。如果包含词条 i 的文档越少， IDF越大，则说明该词条具有很好的类别区分能力。TF-IDF是将TF和IDF相乘得到的权重值。TF-IDF值越大，表示该词在文档中的重要性越高5。
4. 分类
TF-IDF本身并没有明确的分类，但在实际应用中，通常会对TF和IDF进行一些调整，例如使用平滑技术，以便更好地反映词的重要性。此外，还有一些变体和扩展，如基于n-gram的TF-IDF，它不仅考虑单个词，还考虑词的组合；还有基于词向量的TF-IDF，它结合了词向量模型，以捕捉词的语义信息。
5. 案例
TF-IDF在许多实际应用中都有广泛的使用。例如，在搜索引擎中，TF-IDF可以用于计算查询词和文档的相关性，从而提高搜索结果的质量。在文本分类任务中，TF-IDF可以用于提取文本的特征，从而提高分类的准确性。在信息检索中，TF-IDF可以用于计算文档的相似性，从而实现如文档聚类、文档推荐等功能。
6. 参考资料
