c#实现抓取网络资源的网络蜘蛛。使用这个程序，可以通过一个入口网址来扫描整个互联网的网址，并将这些扫描到的网址所指向的网络资源下载到本地 -c# implementation of the network resources to crawl the web spiders. The use of this procedure can be imported through a Web site to scan the entire Internet web site, and these sc

这个程序可以用于爬网页的目录与内容, 网页需要是树状结构如：www.wikipedia.org-WebSpider for getting contents and indexings of web pages with a tree structure.