搜索资源列表
NiceWords
- Nicewords是由工作在顶级门户网站的几名资深高级工程师利用爬虫技术(蜘蛛机器人,spider)、分词技术和网页萃取技术,利用URL重写技术、缓存技术,使用PHP语言开发的一套能根据设置的关键词自动抓取互联网上的相关信息、自动更新的WEB智能建站系统。利用NiceWords智能建站系统,只需要在配置页面上设置几个关键词,NiceWords就能全自动的生成一套能自动更新的网站了。 您要做的仅仅是设置几个关键词,其他的一切交给NiceWords来完成! -Nicewords is the top
shell.tar
- Spider程序:shell编程,实现文件内容的逐行读取,并抓取种子节点开始的网页,4层深度-Spider programs: shell programming, the contents of the file line by line read, and crawl seed nodes in the beginning pages, 4-layer depth
lukemin.tar
- lukemin软件:用来查看nutch爬虫抓取的网页的各种信息,清晰全面。-lukemin Software: nutch crawler is used to view web pages crawled all kinds of information, clear and comprehensive.
wwwclient
- linux c编程,可以实现对网页的简单抓取-linux c programming, can be achieved on a simple web crawler