谈谈淘宝网的“私服”现象

　　在百度搜索引擎又发生了有趣的事情，搜索“私服”“传奇私服”“新开传奇私服”等关键词，淘宝网女人频道均排在显赫的位置（见下述图片PS：周一早上起来看，发现此现象已经消失！暂不知是为算法改变，还是人工干预）。这个消息在站长圈子里炸开了锅，大量的站长朋友对此现象提出了自己的疑问，下面墨明棋妙在此对这个现象做出自己的解释，也针对性的解答一下比较典型的一些疑问。

　　许多同学看到这个现象后的第一反应是：淘宝解除了对百度的robots屏蔽，被百度收录了。在这里墨明棋妙首先纠正这个错误的说法。淘宝并没有解除对百度的屏蔽，我们打开淘宝网的robots页面，我们看到淘宝网的robots设置如下：

　　可以明显的看出，淘宝网屏蔽百度蜘蛛抓取全站信息，那么，在百度搜索为什么还能看到淘宝的页面呢？

　　在这里，首先要解释两个名词，抓取和索引。百度蜘蛛抓取是指蜘蛛爬虫在互联网上爬行、访问页面并获取页面内容返回数据库。而索引则是将数据库中的内容展示在搜索引擎中供用户访问。许多SEO朋友经常有疑问，百度蜘蛛天天来我的站抓取数据，为什么收录数还是那么少？这实质上是因为蜘蛛抓取后并没有为数据建立索引的原因。蜘蛛抓取数据后不一定索引，而搜索引擎索引数据同样不一定需要抓取。这实质上是百度搜索引擎为优化用户体验而采用的一种策略。对于不允许被百度抓取的网站，如果其他站点对其进行描述和指向，那么百度会利用其他站点所获知的信息通过自身的策略对该站点进行索引，并参与到搜索引擎关键词排序中。而淘宝网女性频道，这是由于这种原因，出现在了百度的索引中，同样，淘宝网许多其他的页面被百度索引，也是出于这个原因。

　　那么，为什么在搜索传奇私服等关键词时，淘宝网为什么会以私服类的标题出现呢？这还得归结到百度自身的策略上。不少SEOer都知道，在几年前，就有百度等搜索引擎将DMOZ对网站的标题描述内容植入索引中供用户搜索的例子。这种现象通常表现在网站屏蔽抓取、网站无法访问、网站性质，标题，内容出现大规模的改动 等几种情况下。搜索引擎会通过其外链指向自动为其选择一个与当前搜索请求最相关的标题展示。淘宝网的标题现象，正是出于此种原因。

　　其实大家最关注的，还是淘宝网为什么在这些关键词上取得了如此优秀的排名。我认为，会有朋友给出如下解答：有大量的外部链接指向淘宝网女人频道，导致这个页面权重极高，所以在标题表现为传奇私服的时候能取得非常好的排名。我认为这种说法只是对了一半，并没有抓到最本质的原因。

　　实质上，这种基于链接关系的搜索引擎排序主要依靠几大算法：超链接导向搜索（HITS）算法、TF-IDF算法（相关性算法）和PR算法。因为PR算法得出的数据在一段时间内是比较稳定的，所以分析这个现象，我们并不需要将PR算法做过多的考虑。下面介绍一下HITS算法：HITS算法基本思想是利用页面之间的引用链来挖掘隐含在其中的有用信息（如权威性），具有计算简单且效率高的特点。HITS算法通过两个评价权值内容权威度（Authority）和链接权威度（Hub）来对网页质量进行评估。内容权威度与网页自身直接提供内容信息的质量相关，被越多网页所引用的网页，其内容权威度越高；链接权威度与网页提供的超链接页面的质量相关，引用越多高质量页面的网页，其链接权威度越高。HITS算法认为对每一个网页应该将其内容权威度和链接权威度分开来考虑，在对网页内容权威度做出评价的基础上再对页面的链接权威度进行评价，然后给出该页面的综合评价。通过这段解释，我们可以看到的是，淘宝网女人频道是有着极高的内容权威度的。