(备注:由于 seo 实战密码电子书过大,上传不了, 本人先上传部分, 如若需要者可联系我, 我发给你!) 搜索引擎工作原理简介搜索引擎工作过程非常复杂,接下来的几节我们简单介绍搜索引擎是怎样实现网页排名的。这里介绍的内容相对于真正的搜索引擎技术来说只是皮毛,不过对 SEO 人员已经足够用了。搜索引擎的工作过程大体上可以分为三个阶段。(1) 爬行和抓取: 搜索引擎蜘蛛通过跟踪链接访问网页, 获得页面 HTML 代码存入数据库。(2) 预处理:索引程序对抓取来的页面数据进行文字提取、中文分词、索引等处理,以备排名程序调用。(3) 排名:用户输入关键词后,排名程序调用索引库数据,计算相关性,然后安一定的格式生成搜索结果页面。 爬行和抓取爬行和抓取是搜索引擎工作的第一步,完成数据收集的任务。 1. 蜘蛛搜索引擎用来爬行和访问页面的程序被成为蜘蛛( spider ) ,也称为机器人( bot )。搜索引擎蜘蛛访问网站页面时类似于普通用户使用的浏览器。蜘蛛程序发出页面访问请求后,服务器返回 HTML 代码,蜘蛛程序把收到的代码存入原始页面数据库。搜索引擎为了提高爬行和抓取速度,都使用多个蜘蛛并发分布爬行。蜘蛛访问任何一个网站时,都会先访问网站根目录下的 文件。如果 文件禁止搜索引擎抓取某些文件或目录,蜘蛛将遵守协议,不抓取被禁止的网址。和浏览器一样,搜索引擎蜘蛛也有标明自己身份的代理名称,站长可以在日志文件中看到搜索引擎的特定代理名称,从而辨别搜索引擎蜘蛛,下面列出常见的搜素引擎蜘蛛名称: Baiduspider+ ( +rch/ )百度蜘蛛雅虎中国蜘蛛英文雅虎蜘蛛 Google 蜘蛛微软 Bing 蜘蛛搜狗蜘蛛搜搜蜘蛛有道蜘蛛 2. 跟踪链接为了抓取网上尽量多的页面, 搜索引擎蜘蛛会跟踪页面上的链接, 从一个页面爬到下一个页面,就好像蜘蛛在蜘蛛网上爬行一样,这也就是搜索引擎蜘蛛这个名称的