java编写的网络爬虫程序用于检索网站资源和信息，多线程实例-java web crawler program written for searching website resources and information ,a multi-threaded example

用c写的一个爬虫程序，可以从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页-With c write a crawler, a page from a website (usually home) began to read the content of web pages to find the other links on the page address, and then through these pages to fi

网络爬虫，也叫网络蜘蛛，有的项目也把它称作“walker”。维基百科所给的定义是“一种系统地扫描互联网，以获取索引为目的的网络程序”。网络上有很多关于网络爬虫的开源项目，其中比较有名的是Heritrix和Apache Nutch。 有时需要在网上搜集信息，如果需要搜集的是获取方法单一而人工搜集费时费力的信息，比如统计一个网站每个月发了多少篇文章、用了哪些标签，为自然语言处理项目搜集语料，或者为模式识别项目搜集图片等等，就需要爬虫程序来完成这样的任务。而且搜索引擎必不可少的组件之一也

百度云盘爬虫系统，可以爬取百度云的资源，搭建云盘爬取网站(Baidu cloud disk crawler system, can crawl Baidu cloud resources, build cloud disk crawl website)