1、锁定某个主题抓取； 2、能够产生日志文本文件，格式为：时间戳(timestamp)、URL； 3、抓取某一URL时最多允许建立2个连接（注意：本地作网页解析的线程数则不限） 4、遵守文明蜘蛛规则：必须分析robots.txt文件和meta tag有无限制；一个线程抓完一个网页后要sleep 2秒钟； 5、能对HTML网页进行解析，提取出链接URL，能判别提取的URL是否已处理过，不重复解析已crawl过的网页； 6、能够对spider/crawler程序的一些基本参数进行

MetaSeeker工具包V3是GooSeeker团队自主开发的网页抓取/数据抽取/信息提取软件，经历了垂直搜索、SNS等多个互联网浪潮的实战检验，已经发展到V3版本，并且分成企业版和在线版，对于不愿支付昂贵的企业版费用的用户可以免费下载使用在线版。 MetaSeeker工具包V3版本包括如下软件工具： 1，MetaStudio，网页数据结构定义工具，通过图形界面免编程定义网站数据抓取规则 2，DataScraper，数据抽取工具，能够连续大批量抓取网页内容，不是普通的网络爬虫，而是适应力-Me

Java技术调用Weka中新开发的算法设计实现了一个基于上述特征选择和规则提取的在线数据挖掘分类系统，可实现数据的自动分类、数据规则提取以及数据预测等功能，满足用户通过Web实现在线规则提取、数据类别预测等数据挖掘需求。-depending on weka ，attribute selection classification

程序功能不用说,非常简单明了,非常专业,用的伪静态技术,如果你的主机支持伪静态,要在模型中开启,根目录有一个规则文件. 本系统还可以实现多级目录伪静态效果,可以伪静态成这样: http://您的域名/news/12.html 而且你的目录名也能一个个定义. 并不要生成真静态,对收录非常有帮助,而且站长更新内容也比较方便. 在原基本上加了一个提取关键字功能.-Program features needless to say, very simple, very professional, wi