TF-IDF算法在SEO中的衍生应用

蔡时杉

TF-IDF算法是一种统计算法，用于对检索的加权。简单的讲其作用是评估一字词对于一个文件的重要程度。
   
    在SEO的衍生应用中，我们可以这么去理解上面这段话：在一个公司里，有10个SEOer，每个人都写了一篇关于SEO的文章，并且把这些文章都放在了一个文档集里。我们可以预料到的是，基本每篇文章中都会重复多次出现SEO这个词，意味着这十篇文章都与SEO有关。现在我要查找一篇关于网站权重的SEO文章。那么我会在搜索引擎中输入SEO 网站权重。
   
    最终我找到两篇同时出现了这两个词的文章，第一篇里面出现了2次网站权重和10次SEO，另一篇出现了10次网站权重和2次SEO。现在的问题是：抛开作者的素质(网站整体权重)、文章质量(页面权重)、公司内专家的推荐(高质量外链)以及其他种种因素的影响后，谁的文章应该排在搜索结果的前面?
   
    带着这个问题，我们来学习TF-IDF算法以及TF-IDF算法在SEO中衍生的应用。
   
   
   
   
    TF-IDF的核心概念
   
    如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。
   
    同时，如果一篇文章中出现了我们要查询的词，我们就会认为该文章与我们要查的词有比较大的相关性。延续这种思路，就是如果一篇文档中出现要查询的词的次数越多，该文章与要查询的词之前的相关性应该越大。
   
    我们在以往的SEO工作中，运用到的关键词密度技术，基于的就这个TF原理。
   
    那么我们在TF-IDF算法中，先定义一个TF(t,d)表示词语t在文章d中的出现次数。
   
    我们可以通过关键词密度查询工具来查询TF值：
   
   
   
    但仅仅考虑词出现的次数是不行的，因为常常我们查询的都是两个以上的词，比如AA BB或者XX YY ZZ等形式。如果是这种形式的查询，哪个词出现的次数应该做为重要性的依据呢?这就引出了IDF来测量词的稀缺度，这里我们定义IDF为IDF(t) = log(N / DF(t))。其中：
   
    DF(t)：该词(以t为代表)在多少篇文章中出现过。查询办法是通过google搜索某一个词t，得到的搜索结果我们可以理解DF(t)。
   
    N: 总文章数。这个数值在我们SEO工作中没有什么实际的用处，因为我们不可能知道搜索引擎索引了多少文章。但是对于搜索引擎来说，N却是一个判定词权重的数据。
   
    log：这个也不是我们SEO工作中需要考虑的数值，一般而言，log的底数可以随便设定。一般而言，我们采用+1的方式来抑制上述网站权重 SEO例子中第二篇出现10次网站权重的文章比第一篇出现2次网站权重的文章重要5倍的夸张情况出现。
   
    TF-IDF的SEO应用实战
   
    看到这里，是不是觉得很烦躁?我们来进入一段广告……呃，不，进入一段实例：
   
    TF-IDF值 = TF×IDF(TF乘以IDF) = 1+log tf(t,d) × log(N / DF(t))
   
    以《网站权重 SEO》和《SEO学习:什么是网站权重》这篇文章为例：
   
    网站权重TF值为：w=1+log 31(次出现)=2.49
   
    网站权重IDF值为：23,200,000篇/1万亿(假设值，08年数据)=4.63
   
    网站权重TF-IDF值为：2.49*4.63=11.53
   
    SEOTF值为：w=1+log 34(次出现)=2.53
   
    SEOIDF值为：1,220,000,000篇/1万亿(假设值，08年数据)=2.91
   
    SEOTF-IDF值为：2.53*2.91=7.36
   
    我们得到了网站权重TF-IDF值11.53和SEOTF-IDF值7.36。这有什么用呢?
   
    TF-IDF值越大，文章与索引词越相关;
   
    只有当网站权重这个词权重高的页面，才有可能在网站权重 SEO这个搜索结果的排名上有比较好的效果;
   
    锚文本链接需要加强网站权重这个词;
   
    如果我们针对这个页面做SEO的锚文本，则不会有太好的表现;
   
    在没有其他因素加权或降权的情况下，小于该页面的总计词权值18.89(11.53+7.36)的页面将排名较低，大于18.89的页面将排名比次文章高
   
    TF-IDF在SEO应用的总结
   
    以上只是一个TF-IDF在SEO衍生应用中的一个例子。无论是TF-IDF的计算方式，或者是该案例的假设条件，都是不严谨和准确的。但这不妨碍我们明白关键词密度这一SEO技术的原理。同时，也在关键词排名方面，跟竞争对手有了一个可以量化的参考。
   
    无论百度还是谷歌又或者其他搜索引擎，TF-IDF只是其搜索排名算法中很小的一部分。同时为了打击关键词堆砌，各大搜索引擎又都会对TF值做一定的限制。SEOMoz给的一个安全的词频数为每篇页面不重复15词关键词。而不是简单的用2%-8%的关键词密度。当然这个建议是基于国外的搜索引擎。
   
    我们在学习SEO时，的确需要了解一些技术和理论的知识，这些知识有助于我们更好的开展工作。但同时，我们也无需纠结于一些纯理论和技术方面的问题，毕竟，在SEO这个行业中，实战和经验同样无比重要。
   
    本文由杨帆原创于杨氏SEO，请保留链接：