搜索资源列表
spider(java)
- 网页抓取器又叫网络机器人(Robot)、网络爬行者、网络蜘蛛。网络机器人(Web Robot),也称网络蜘蛛(Spider),漫游者(Wanderer)和爬虫(Crawler),是指某个能以人类无法达到的速度不断重复执行某项任务的自动程序。他们能自动漫游与Web站点,在Web上按某种策略自动进行远程数据的检索和获取,并产生本地索引,产生本地数据库,提供查询接口,共搜索引擎调用。-web crawling robots - known network (Robot), Web crawling,
crawler-on-news-topic-with-samples
- java做的抓取sohu所有的新闻;可以实现对指定站点新闻内容的获取;利用htmlparser爬虫工具抓取门户网站上新闻,代码实现了网易、搜狐、新浪网上的新闻抓取;如果不修改配置是抓取新浪科技的内容,修改配置可以抓取指定的网站;实现对指定站点新闻内容的获取-java do crawl sohu news access to the designated site news content using htmlparser reptiles tools crawl news portal, c