搜索资源列表
spider2006
- 可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。 状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。 有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。 健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。 较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。 -C# spider.
NwebCrawler
- NwebCrawler是用C#写的一款多线程网络爬虫程序,它的实现原理是先输入一个或多个种子URL到队列中,然后从队列中提取URL(先进先出原则),分析此网页寻找相应标签并获得其href属性值,爬取有用的链接网页并存入网页库中,其中用爬取历史来记录爬过的网页,这样避免了重复爬取。提取URL存入队列中,进行下一轮爬取。所以NwebCrawler的搜索策略为广度优先搜索。采用广度优先策略有利于多个线程并行爬取而且抓取的封闭性很强。-NwebCrawler is a multi-threaded w