本篇文章首席CTO笔记来给大家介绍有关python文本tf-idf值一般为多少以及python tfidf的相关内容，希望对大家有所帮助，一起来看看吧。
本文目录一览：
1、TF-IDF（词频-逆文档频率）介绍2、如何用Python玩转TF-IDF之寻找相似文章并生成摘要3、TF-IDF基本概念和原理4、TF-IDF计算过程5、tf-idf算法python实现TF-IDF（词频-逆文档频率）介绍
词频-逆文档频度（Term Frequency - Inverse Document Frequency，TF-IDF） 技术，是一种用于资讯检索与文本挖掘的常用加权技术，可以用来评估一个词对于一个文档集或语料库中某个文档的重要程度。字词的重要性随着它在文件中出现的次数成正比增加 ，但同时会 随着它在语料库中出现的频率成反比下降 。如果某个词比较少见，但是它在这篇文章中多次出现，那么它很可能就反映了这篇文章的特性，正是我们所需要的关键词。
以统计一篇文档的关键词为例，最简单的方法就是计算每个词的词频。
词频 (term frequency, TF) 指的是某一个给定的词语在该文件中出现的次数。
出现频率最高的词就是这篇文档的关键词。但是一篇文章中出现频率最高的词肯定是“的”、‘是’、‘也’……这样的词，这些词显然不能反应文章的意思，此时就需要对每个词加一个权重，最常见的词（"的"、"是"、"在"）给予最小的权重，较少见的但能反应这篇文章意思的词给予较大的权重，这个权重叫做逆文档频率。
**逆文档频率(nverse Document Frequency，IDF) **是一个词语普遍重要性的度量，它的大小与一个词的常见程度成反比，计算方法是语料库的文档总数除以语料库中包含该词语的文档数量，再将得到的商取对数。
知道了TF和IDF以后，将这两个值相乘，就得到了一个词的TF-IDF值。某个词对文章的重要性越高，它的TF-IDF值就越大。所以，排在最前面的几个词，就是这篇文章的关键词。
可以看到，TF-IDF与一个词在文档中的出现次数成正比，与该词在整个语言中的出现次数成反比。所以，自动提取关键词的算法就很清楚了，就是计算出文档的每个词的TF-IDF值，然后按降序排列，取排在最前面的几个词。
如何用Python玩转TF-IDF之寻找相似文章并生成摘要
应用1：关键词自动生成
核心思想是对于某个文档中的某个词，计算其在这个文档中的标准化TF值，然后计算这个词在整个语料库中的标准化IDF值。在这里，标准化是说对原始的计算公式进行了一些变换以取得更好的衡量效果，并避免某些极端情况的出现。这个词的TF-IDF值便等于TF*IDF。对于这个文档中的所有词计算它们的TF-IDF值，并按照由高到低的顺序进行排序，由此我们便可以提取我们想要的数量的关键词。
TF-IDF的优点是快捷迅速，结果相对来说比较符合实际情况。缺点是当一篇文档中的两个词的IDF值相同的时候，出现次数少的那个词有可能更为重要。再者，TF-IDF算法无法体现我词的位置信息，出现位置靠前的词与出现位置靠后的词，都被视为重要性相同，这是不正确的。存在的解决办法是对文章的第一段和每段的第一句话给予比较大的权重。
应用2：计算文本相似度
明白了对于每个词，如何计算它的TF-IDF值。那么计算文本相似度也轻而易举。我们已经计算了文章中每个词的TF-IDF值，那么我们便可以将文章表征为词的TF-IDF数值向量。要计算两个文本的相似度，只需要计算余弦即可，余弦值越大，两个文本便越相似。
应用3：自动摘要
2007年，美国学者的论文A Survey on Automatic Text Summarization总结了目前的自动摘要算法，其中很重要的一种就是词频统计。这种方法最早出自1958年IBM公司一位科学家的论文The Automatic Creation of Literature Abstracts。这位科学家认为，文章的信息都包含在句子中，有的句子包含的信息多，有的句子包含的信息少。自动摘要就是找出那些包含信息最多的句子。那么句子的信息量怎么衡量呢？论文中采用了关键词来衡量。如果包含的关键词越多，就说明这个句子越重要，这位科学家提出用Cluster的来表示关键词的聚集。所谓簇，就是包含多个关键词的句子片段。
以第一个图为例，其中的cluster一共有7个词，其中4个是关键词。因此它的重要性分值就等于(4*4)/7=2.3。然后，找出包含cluster重要性分值最高的句子（比如5句），把它们合在一起，就构成了这篇文章的自动摘要。具体实现可以参见Mining the Social Web: Analyzing Data from Facebook, Twitter, LinkedIn, and Other Social Media Sites（O'Reilly, 2011）一书的第8章，Python代码见github。这种算法后来被简化，不再区分cluster，只考虑句子包含的关键词。伪代码如下。
Summarizer(originalText, maxSummarySize):
// 计算文本的词频，生成一个列表，比如[(10,'the'), (3,'language'), (8,'code')...]
wordFrequences = getWordCounts(originalText)
// 过滤掉停用词，列表变成[(3, 'language'), (8, 'code')...]
contentWordFrequences = filtStopWords(wordFrequences)
// 按照词频的大小进行排序，形成的列表为['code', 'language'...]
contentWordsSortbyFreq = sortByFreqThenDropFreq(contentWordFrequences)
// 将文章分成句子
sentences = getSentences(originalText)
// 选择关键词首先出现的句子
setSummarySentences = {}
foreach word in contentWordsSortbyFreq:
firstMatchingSentence = search(sentences, word)
setSummarySentences.add(firstMatchingSentence)
if setSummarySentences.size() = maxSummarySize:
break
// 将选中的句子按照出现顺序，组成摘要
summary = ""
foreach sentence in sentences:
if sentence in setSummarySentences:
summary = summary + " " + sentence
return summary
类似的算法已经被写成了工具，比如基于Java的Classifier4J库的SimpleSummariser模块、基于C语言的OTS库、以及基于classifier4J的C#实现和python实现。
TF-IDF基本概念和原理
TF-IDF是Term Frequency - Inverse Document Frequency的缩写，即“词频-逆文本频率”。它由两部分组成，TF和IDF。前面的TF也就是我们前面说到的词频，我们之前做的向量化也就是做了文本中各个词的出现频率统计，并作为文本特征，这个很好理解。关键是后面的这个IDF，即“逆文本频率”如何理解。我们讲到几乎所有文本都会出现的"to"其词频虽然高，但是重要性却应该比词频低的"China"和“Travel”要低。我们的IDF就是来帮助我们来反应这个词的重要性的，进而修正仅仅用词频表示的词特征值。概括来讲， IDF反应了一个词在所有文本中出现的频率，如果一个词在很多的文本中出现，那么它的IDF值应该低，比如上文中的“to”。而反过来如果一个词在比较少的文本中出现，那么它的IDF值应该高。比如一些专业的名词如“Machine Learning”。这样的词IDF值应该高。一个极端的情况，如果一个词在所有的文本中都出现，那么它的IDF值应该为0。
上面是从定性上说明的IDF的作用，那么如何对一个词的IDF进行定量分析呢？这里直接给出一个词x的IDF的基本公式如下：
IDF(x) = log\frac{N}{N(x)}
其中，N代表语料库中文本的总数，而N(x)代表语料库中包含词x的文本总数。为什么IDF的基本公式应该是是上面这样的而不是像N/N(x)这样的形式呢？这就涉及到信息论相关的一些知识了。感兴趣的朋友建议阅读吴军博士的《数学之美》第11章。
上面的IDF公式已经可以使用了，但是在一些特殊的情况会有一些小问题，比如某一个生僻词在语料库中没有，这样我们的分母为0， IDF没有意义了。所以常用的IDF我们需要做一些平滑，使语料库中没有出现的词也可以得到一个合适的IDF值。平滑的方法有很多种，最常见的IDF平滑后的公式之一为：
IDF(x) = log\frac{N+1}{N(x)+1} + 1
有了IDF的定义，我们就可以计算某一个词的TF-IDF值了：
TF-IDF(x) = TF(x) * IDF(x)
其中TF(x)指词x在当前文本中的词频。
TF-IDF是非常常用的文本挖掘预处理基本步骤，但是如果预处理中使用了Hash Trick，则一般就无法使用TF-IDF了，因为Hash Trick后我们已经无法得到哈希后的各特征的IDF的值。使用了IF-IDF并标准化以后，我们就可以使用各个文本的词特征向量作为文本的特征，进行分类或者聚类分析。当然TF-IDF不光可以用于文本挖掘，在信息检索等很多领域都有使用。因此值得好好的理解这个方法的思想。
TF-IDF计算过程
本文内容主要摘自python machine learning 2nd edition
1、假设我们有以下三个文本
• 'The sun is shining'
• 'The weather is sweet'
• 'The sun is shining, the weather is sweet, and one and one is two
2、利用CountVectorizer类得到如下字典
{'and': 0,'two': 7,'shining': 3,'one': 2,'sun': 4,'weather': 8,'the': 6,'sweet': 5, 'is': 1 }
3、将步骤1的文档转换为矩阵
[[0 1 0 1 1 0 1 0 0]
[0 1 0 0 0 1 1 0 1]
[2 3 2 1 1 1 2 1 1]]
4.计算tf-idf值
我们以is为例进行计算，is对应的是矩阵第二列。
tf值，表示term在该文本中出现的次数，这里即is在文本3出现的次数，很容易看出是3.
idf值，sklearn做了小小的改动，公式是 (1+log ). 的意思就是文本总数（number of document）,df(d,t)表示包含is 的文件数目，很明显，这里也是3.这样，计算的结果为3*(1+log )=3.
需要注意的是，sklearn对结果进行了正则化处理。
最终得到的结果为
[[ 0. 0.43 0. 0.56 0.56 0. 0.43 0. 0. ]
[ 0. 0.43 0. 0. 0. 0.56 0.43 0. 0.56]
[ 0.5 0.45 0.5 0.19 0.19 0.19 0.3 0.25 0.19]]
每一行的平方和均为1，这是l2正则化处理的结果。
另外可以看出，原先is的词频是 1 1 3，最终tf-idf值是0.43 0.43 0.45 。
tf-idf算法python实现
tf-idf=tf*idf
tf是词频，若一个文件中有n个次，词word出现c次；，则tf=c/n
idf是逆文档概率，一共有N个文件，词word在w个文档中出现，则idf=w/N
结语：以上就是首席CTO笔记为大家整理的关于python文本tf-idf值一般为多少的全部内容了，感谢您花时间阅读本站内容，希望对您有所帮助，更多关于python tfidf、python文本tf-idf值一般为多少的相关内容别忘了在本站进行查找喔。