10、(C、D、E、F)用名为“恶魔撒旦”的链接指向这个网页A，或者给出这个链接的源网页(B、C、D、E、F)越优秀，那么网页A在用户搜索“恶魔撒旦”时也会被认为更相关，排序也会越靠前搜索引擎的工作原理可以看做三步：从互联网上抓取网页建立索引数据库在索引数据库中搜索排序。3.1 从互联网上抓取网页利用能够从互联网上自动收集网页的Spider系统程序，自动访问互联网，并沿着任何网页中的所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集回来。3.2 建立索引数据库由分析索引系统程序对收集回来的网页进行分析，提取相关网页信息（包括网页所在URL、编码类型、页面内容包含的关键词、关键词位置、生成时间
11、、大些与其它网页的链接关系等），根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面内容中及超链中每一个关键词的相关度（或重要性），然后用这些相关信息建立网页索引数据库。 3.3在索引数据库中搜索排序当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度早已算好，所以只需按照现成的相关度数值排序，相关度越高，排名越靠前。 最后，由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。搜索引擎的Spider一般要定期重新访问所有网页（各搜索引擎的周期不同，可能是几天、几周或几月，也可能对不同重要性的网
12、页有不同的更新频率），更新网页索引数据库，以反映出网页内容的更新情况，增加新的网页信息，去除死链接，并根据网页内容和链接关系的变化重新排序。这样，网页的具体内容和变化情况就会反映到用户查询的结果中。互联网虽然只有一个，但各搜索引擎的能力和偏好不同，所以抓取的网页各不相同，排序算法也各不相同。大型搜索引擎的数据库储存了互联网上几亿至几十亿的网页索引，数据量达到几千G甚至几万G。但即使最大的搜索引擎建立超过二十亿网页的索引数据库，也只能占到互联网上普通网页的不到30%，不同搜索引擎之间的网页数据重叠率一般在70%以下。我们使用不同搜索引擎的重要原因，就是因为它们能分别搜索到不同的内容。而互联网上有
13、更大量的内容，是搜索引擎无法抓取索引的，也是我们无法用搜索引擎搜索到的。 3.4 在做网页的提取过程中详细的原理如下 关键词的提取 所谓“目标网页”指的是搜索引擎设计覆盖的网页范围.例如Google是全球,天网是全中国.随便取一篇网页的源文件（例如通过浏览器的“查看源文件”功能）,我们可以看到其中的情况纷乱繁杂.除了我们从浏览器中能够正常看到的文字内容外,还有大量的HTML标记.据统计,网页文档源文件的大小（字节量）通常大约是其中内容大小的4 倍.另外,由于HTML文档产生来源的多样性,许多网页在内容上比较随意,不仅文字不讲究规范、完整,而且还可能包含许多和
14、主要内容无关的信息.这些情况既给有效的信息查询带来了挑战,也带来了一些新的机遇,这里我们只是指出,为了支持后面的查询服务,需要从网页源文件中提取出能够代表它的内容的一些特征.从人们现在的认识和实践来看,所含的关键词即为这种特征最好的代表.于是,作为预处理阶段的一个基本任务,就是要提取出网页源文件的内容部分所含的关键词.对于中文来说,就是要根据一个词典,用一个所谓“切词软件”,从网页文字中切出所含的词语来.在那之后,一篇网页主要就由一组词来近似代表了,p = t1, t2, , tn.一般来讲,我们可能得到很多词,同一个词可能在一篇网页中多次出现.从效果和效率考虑,不应该让所有的词都出现在网页的
15、表示中,要去掉诸如“的”,"在"等没有内容指示意义的词,称为“停用词”.这样,对一篇网页来说,有效的词语数量大约在200个左右. 重复或转载网页的消除 与生俱来的数字化和网络化给网页的复制以及转载和修改再发表带来了便利,因此我们看到Web上的信息存在大量的重复现象.据统计,网页的重复率平均大约为4.也就是说,当你通过一个URL在网上看到一篇网页的时候,平均还有另外3个不同的URL也给出相同或者基本相似的内容.这种现象对于广大的网民来说是有正面意义的,因为有了更多的信息访问机会.但对于搜索引擎来说,则主要是负面的；它不仅在搜集网页时要消耗机
16、器时间和网络带宽资源,而且如果在查询结果中出现,无意义地消耗了计算机显示屏资源,也会引来用户的抱怨,“这么多重复的,给我一个就够了”.因此,消除内容重复或主题内容重复的网页是预处理阶段的一个重要任务. 3.4.3链接分析前面提到,大量的HTML标记既给网页的预处理造成了一些麻烦,也带来了一些新的机遇.从信息检索的角度讲,如果系统面对的仅仅是内容的文字,我们能依据的就是“共有词汇假设”,即内容所包含的关键词集合,最多加上词频（term frequency 或tf、TF）和词在文档集合中出现的文档频率（document frequency 或df、DF）之类的统计量.而TF和DF这样的频率信息能在
17、一定程度上指示词语在一篇文档中的相对重要性或者和某些内容的相关性,这是有意义的.有了HTML标记后,情况还可能进一步改善,例如在同一篇文档中,和之间的信息很可能就比在和之间的信息更重要.特别地,HTML文档中所含的指向其他文档的链接信息是人们近几年来特别关注的对象,认为它们不仅给出了网页之间的关系,而且还对判断网页的内容有很重要的作用.例如“传世群英传外挂”这几个字在传奇归来外挂的主页上是没有的,因此一个仅靠内容文字分析的搜索引擎就不可能返回该主页作为结果. 网页重要程度的计算搜索引擎返回给用户的,是一个和用户
18、查询相关的结果列表.列表中条目的顺序是很重要的一个问题.由于面对各种各样的用户,加之查询的自然语言风格,对同样的q0返回相同的列表肯定是不能使所有提交q0的用户都满意的（或者都达到最高的满意度）.因此搜索引擎实际上追求的是一种统计意义上的满意.人们认为Google目前比百度好,是因为在多数情况下前者返回的内容要更符合用户的需要,而不是所有情况下都如此.如何对查询结果进行排序有很多因素需要考虑,后面将有深入的讨论.这里只是概要解释在预处理阶段可能形成的所谓“重要性”因素.顾名思义,既然是在预处理阶段形成的,就是和用户查询无关的.如何讲一篇网页比另外一篇网页重要?人们参照科技文献重要性的评估方式,
19、核心想法就是“被引用多的就是重要的”.“引用”这个概念恰好可以通过HTML超链在网页之间体现得非常好,作为Google创立核心技术的PageRank就是这种思路的成功体现.除此以外,人们还注意到网页和文献的不同特点,即一些网页主要是大量对外的链接,其本身基本没有一个明确的主题内容,而另外有些网页则被大量的其他网页链接.从某种意义上讲,这形成了一种对偶的关系,这种关系使得人们可以在网页上建立另外一种重要性指标.这些指标有的可以在预处理阶段计算,有的则要在查询阶段计算,但都是作为在查询服务阶段最终形成结果排序的部分参数.总结：搜索引擎只能搜到它网页索引数据库里储存的内容。当我们以同一关键词用不同的搜索引擎查询时，搜索结果也就不尽相同。在同一搜索引擎查询关键字的另一种说法时也会出现不同的结果。通过这个选修的学习，使我了解了关于搜索引擎的很多知识，提高了我的自学能力和动手能力，让我知道了在查询信息过程中需要注意的很多问题，这些对我以后的工作都是大有裨益的。参考文献：1. 2. 34.5.6.7.
