要构建搜索引擎，首先要收集各个FTP站点的文件信息，记录到数据库，用于提供搜索。因特 网中有许多的FTP站点，要收集某个FTP站点的信息时，从数据表中读出站点信息，然后登陆到此站点，多数FTP服务器都开辟有一个公共访问区，称为"匿 名FTP"，对公众提供免费的文件信息服务，一般用户名为 Anonymous，密码为一个Email地址。数据采集程序用此用户名和密码登陆站点，然后对站点所有目录进行采集，读取每个目录下的文件信息，在收到 文件信息之后，对其进行分析，将文件信息存储到相应的数据表字段中。完

Spider又叫WebCrawler或者Robot，是一个沿着链接漫游Web 文档集合的程序。它一般驻留在服务器上，通过给定的一些URL，利用HTTP等标准协议读取相应文档,然后以文档中包括的所有未访问过的URL作为新的起点，继续进行漫游，直到没有满足条件的新URL为止。WebCrawler的主要功能是自动从Internet上的各Web 站点抓取Web文档并从该Web文档中提取一些信息来描述该Web文档,为搜索引擎站点的数据库服务器追加和更新数据提供原始数据,这些数据包括标题、长度、文件建立时间