统一资源定位符（URL）是网站页面的地址判别方式，也是蜘蛛抓取网站网页信息的途径。那搜索引擎蜘蛛是如何通过URL链接抓取网站页面的呢？搜索引擎工作大致分为三个阶段：爬行和抓取阶段（搜索引擎蜘蛛访问页面，并获取页面html代码存入数据库）：预处理（对页面文字进行提取、分词、消除噪音、去重 和建立索引）；排名（根据页面的相关性和网站权重高低展示给用户）。-Uniform Resource Locator (URL) address discrimination is the way web page