web 网络爬虫 用户可以使用它从网络上抓取想要得资源，开发者还可以扩展它的各个组件，来实现自己的抓取逻辑。,Reptile web network users can use it from the network you want to crawl resources, developers can also extend its various components, to achieve their own logic crawl.

java编写的网络爬虫程序用于检索网站资源和信息，多线程实例-java web crawler program written for searching website resources and information ,a multi-threaded example

本文用lucene和Heritrix构建了一个Web 搜索应用程序 Lucene 是基于 Java 的全文信息检索包，它目前是 Apache Jakarta 家族下面的一个开源项目。 Lucene很强大，但是，无论多么强大的搜索引擎工具，在其后台，都需要一样东西来支援它，那就是网络爬虫Spider。网络爬虫，又被称为蜘蛛Spider，或是网络机器人、BOT等，这些都无关紧要，最重要的是要认识到，由于爬虫的存在，才使得搜索引擎有了丰富的资源。 Heritrix是一个纯由Java开