1、锁定某个主题抓取； 2、能够产生日志文本文件，格式为：时间戳(timestamp)、URL； 3、抓取某一URL时最多允许建立2个连接（注意：本地作网页解析的线程数则不限） 4、遵守文明蜘蛛规则：必须分析robots.txt文件和meta tag有无限制；一个线程抓完一个网页后要sleep 2秒钟； 5、能对HTML网页进行解析，提取出链接URL，能判别提取的URL是否已处理过，不重复解析已crawl过的网页； 6、能够对spider/crawler程序的一些基本参数进行

1、JS加密/解密（将代码以js形式进行加密或解密。）2、UTF-8编码转换工具（UTF-8编码转换。）3、Unicode编码转换工具（Unicode编码转换。）4、友情链接（通过本工具可以批量查询指定网站的友情链接在百度的收录、百度快照、PR以及对方是否链接本站，可以识破骗链接。）5 、META信息检测（通过本工具可以快速检测网页的META标签，分析标题、关键词、描述等是否有利于搜索引擎收录。）6、MD5加密工具（对字符串进行MD5加密。）7 、身份证号码值查询（查询身份证所在地、性别及出生日