新闻视线

搜索引擎每天处理着数以亿计的查询请求，每个查询请求都代表了一个用户对于某种资源的特定需求。多数时候，通过查询返回的网页结果，这些需求被满足了，我们可以认为结果中的某些页面对特定用户的特定需求产生了价值。那么对于搜索引擎而言，页面的价值是指什么，我们为什么要研究页面价值?带着这些疑问我们一起来看下下面的文章：

首先，互联网上的页面是无穷尽的，而搜索引擎的硬件资源是有限的，想用有限的资源去覆盖无穷尽的互联网，我们就需要对页面价值做出判断，不收录那些无检索价值的页面，少收录那些检索价值低的页面。这是页面价值在收录控制方面的应用。

二，搜索引擎spider的抓取能力是有限的，出于访问友好性的考虑，对于一个网站或一个IP抓取速率需要有一个抓取速率的上限。在这一限制下，抓取或页面更新就需要有一个先后顺序，而这一排序的主要参考依据就是页面价值，或者说对页面价值的预测(未抓取时)。这是页面价值在spider调度方面的应用。

三，对于某些页面，页面内容发生变化，导致它的检索价值从有到无，典型的就是变为“死链”，或者“被黑”。对于这些页面，好的搜索引擎会在一时间将其排除出索引，或在检索时对其进行屏蔽，以保证返回给用户的结果是更多检索价值高的“好页面”。对于另一些页面，它不仅具有很高的检索价值，而且有很强的“时效性”，能够一时间让用户检索到这些页面对搜索体验有很大的提升。对搜索引擎而言，越快的收录和索引页面意味着越多的额外资源开销，以多快的速度收录和以多短的周期更新索引，需要通过页面价值的分析来指导。这两方面是页面价值在死链率和时效性两大搜索引擎指标提升上的应用。

后，普遍意义上的页面价值高低对搜索引擎返回给用户的结果排序上也存在着指导意义。理想情况下搜索引擎的结果是按照与查询请求的相关性进行排序的，在相关性大体相当的情况下，用户更倾向与浏览普遍意义上页面价值高的网页。这是页面价值在ranking方面的应用。

可以说，页面检索价值的研究是搜索引擎中的一项较为基础的工作，对页面价值的认识和判断的准确程度直接影响着搜索引擎的覆盖率、死链率、时效性等几大主要指标。

上面已经介绍了页面价值的含义，研究的意义与价值判断的方法。后我们再看一下，从技术角度上，这一方向的研究中的方向。对页面价值的研究工作主要致力于三方面：

对页面价值体系的认识。我们目前对页面价值的认识是来源于前文所述的四个维度，这个认识是否全，对于不断变化的互联网环境与用户需求，这些维度应该如何扩展与变化才能更好的服务于整体的搜索体验提升，是一个很重要问题。

对于反映页面价值的页面特征提取。巧妇难为无米之炊，挖掘更多的页面特征，更准确合理的特征提取是页面价值判定准确率提升的基础。对各种页面特征的组合策略(机器学习)。针对不用的应用方向，需要利用相应的特征通过合理的策略拟合出页面价值的终评价结果。