搜索资源列表
SubjectSpider_ByKelvenJU
- 1、锁定某个主题抓取; 2、能够产生日志文本文件,格式为:时间戳(timestamp)、URL; 3、抓取某一URL时最多允许建立2个连接(注意:本地作网页解析的线程数则不限) 4、遵守文明蜘蛛规则:必须分析robots.txt文件和meta tag有无限制;一个线程抓完一个网页后要sleep 2秒钟; 5、能对HTML网页进行解析,提取出链接URL,能判别提取的URL是否已处理过,不重复解析已crawl过的网页; 6、能够对spider/crawler程序的一些基本参数进行
SurveyTextMining
- 这是一本关于文本挖掘的书籍,包括聚类 分类 信息提取的内容
网页搜索引擎
- K-PageSearch是由Kwindsoft在2007年自主研发的专为行业、专类信息检索设计的网页搜索引擎。主要功能特点:网络蜘蛛、定向采集、正文提取、中文分词、全文索引、相关度排序、网页快照、相关搜索、竞价排名;后台数据库采用Microsoft SQL Server,静态化搜索系统设计采用XML数据岛缓存搜索结果提高系统的稳定性和性能、节省服务器资源减轻系统负担。 网络蜘蛛 K风蜘蛛组件包括三大功能模块:链接采集、网页分析、无效网页扫描; 自动识别GB2312、BIG5、UTF-8、Unic
FetchTxtYang
- 从eco文本里提取几条相关信息,然后保存到output文本文件中-To extract text from a few eco-related information, and then save the output text file
GCC_ASP_C
- 描述了一种利用GCC抽象语法树(AST)文本来提取源程序静态信息的方法.-Describes a use of GCC Abstract Syntax Tree (AST) to extract the source text of the static information.
jahmm
- 基于隐马尔科夫模型的文本信息提取,压缩包中带有源码和相关资料-Hidden Markov Model based text information extraction, compressed packets with source code and related information
IDF
- IDF反映了在文档集合中一个单词对一个文档的重要性,经常在文本数据挖据与信息提取中用来作为权重因子。在一份给定的文件里,词频(termfrequency-TF)指的是某一个给定的词语在该文件中出现的频率。逆向文件频率(inversedocument frequency,IDF)是一个词语普遍重要性的度量。-IDF reflects the importance of a word in a document collection for a document, often in the text