搜索资源列表
heritrix-1.12.1-src
- Heritrix是一个开源,可扩展的web爬虫项目。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。
robot
- 用robots.txt文件设置使BBS只有首页被搜索引擎收录
robotParser
- robots.txt的一个解析器, 功能很强大哦
Gallery
- 陈列馆问题： 1.问题描述 世界名画陈列馆有m*n个陈列室组成。为了防止名画被盗，需要在陈列室设置警卫机器人哨位，每算法个警卫机器人除了监视它所在的陈列室之外，还可以监视与它所在的陈列室相邻的上，下，左，右4个陈列室。 2.要求 试要求，设计一个安排警卫机器人哨位的算法，使得名画陈列馆的每个陈列室都在警卫机器人监视之下，切所用的警卫机器人数目最少。 3.结果输出 将计算的警卫机器人数及其最佳哨位安排输出到文件output.txt。文件的第1行是警卫机器人数；接下来的m行中
wget-1.9.1b
- GNU Wget is a free network utility to retrieve files from the World Wide Web using HTTP and FTP, the two most widely used Internet protocols. It works non-interactively, thus enabling work in the background, after having logged off. The recursi
LinkChecker-5.2.tar
- LinkChecker 是一个网页链接检查程序，主要特性： • 循环遍历和多线程检查 • 输出各种格式检查结果：text, HTML, SQL, CSV, XML • 支持 HTTP/1.1, HTTPS, FTP, mailto:, news:, nntp:, Telnet 和本地文件链接检查 • 可使用正则表达式对链接的url进行过滤 • 支持代理服务器 • 支持用户名和密码验证 ̶
SEOtutoril
- 既然是基础教程，讲的当然都是SEO 最基本的内容了，例如：佩奇等级、robots.txt 等相关知识，对于刚刚涉足于搜索引擎的朋友来说，可能对这些比较迷茫，但，通过本书能很快的了解这些内容