JAVA实现文本聚类，用到TF/IDF权重，用余弦夹角计算文本相似度，用k-means进行数据聚类等数学和统计 知识。,JAVA realization of text clustering, using TF/IDF weight, calculated using cosine angle between the text of similarity, using k-means clustering for data such as mathematical and statistical

TF-IDF算法,用于统计词频，并找出关键字，以及计算出权重值。-TF-IDF algorithm, used for statistical word frequency, and find out the key, and calculates a weight value.

索引词的选择 1、 切词及词频统计：利用已选择的分词软件对文档进行切词处理，并进行词频统计，形成DocIndex文件，结构为：文档号、频率、词。注意保留中间结果，建立合理的数据结构来存储。 2、 分配词权重： 采用词频标准化（tfi = tfi/Max(tf)）和tf*idf两种方式分配词的权重。由DocIndex文件生成DocIndex(tf) 和DocIndex(tf*idf)文件。注意阈值的确定，词的取舍。 3、 形成倒置文档：将DocIndex(tf) 和DocInde

算法思想：提取文档的TF/IDF权重，然后用余弦定理计算两个多维向量的距离来计算两篇文档的相似度，用标准的k-means算法就可以实现文本聚类。源码为java实现(Algorithm idea: extract the TF/IDF weight of the document, then calculate the distance between two multidimensional vectors by cosine theorem, calculate the similarity