实现一个词法分析器，词法分析程序的主要任务是从左到右扫描每行源程序，拼成单词，换成统一的内部表示 (token)输出，送给语法分析器。具体包括： –组织源程序的输入； –按规则拼单词，并转换成二元形式； –滤掉空白符，跳过注释、换行符及一些无用的符号(如字符常数的引号) （实验一已完成）； –进行行列计数，用于指出出错的行列号，并复制出错部分； –列表打印源程序； –发现并定位词法错误； –生成符号表。token 文件和符号表用作语法分析的输入部分。

处理的对象是：完成分词和词性标注的语料，实现的结果是：统计出现词频完成降序排列。-Dealing with the object are: the completion of word segmentation and POS tagging of the corpus, the results achieved are: the completion of word frequency statistics appear in descending order.

C#调用天津海量分词进行分词，调用DLL进行实现-C# call Tianjin massive word for word, call the DLL to achieve the

csharp写的文本编辑器,可以实现类似于WORD的一些功能,很实用的一个东西-text editor writeen by Csharp