1、锁定某个主题抓取； 2、能够产生日志文本文件，格式为：时间戳(timestamp)、URL； 3、抓取某一URL时最多允许建立2个连接（注意：本地作网页解析的线程数则不限） 4、遵守文明蜘蛛规则：必须分析robots.txt文件和meta tag有无限制；一个线程抓完一个网页后要sleep 2秒钟； 5、能对HTML网页进行解析，提取出链接URL，能判别提取的URL是否已处理过，不重复解析已crawl过的网页； 6、能够对spider/crawler程序的一些基本参数进行

Elgg是一款免费开源的社会性网络引擎程序，以BLOG为中心实现社会网络化，从社会性来讲：Elgg以兴趣为核心的社交平台。支持多国语言，暂不支持中文。 Elgg 1.11.0 更新日志：2015-04-13 访问：通知用户何时访问变化将影响评价 联系：添加一个警告，当物理robots.txt的存在 注释： 在电子邮件通知链接，现在需要直接到正确的页面 可以通过设置挂钩每页意见 河评论/回复讨论去正确的页面 背景：增加了API获取/设置整个上下文堆栈 核心：