lex语法分析，对BNC语料库进行文本标注前的预处理，将与SGML标注与文本词性标注无关的删除掉-this is lex syntax analyzing,annotate with BNC syntax LIB.

ANTLR是什么ANTLR, 语言识别的另一个工具(ANother Tool for Language Recognition),( 前身是 PCCTS)是一种语言工具，它提供了一个框架，可以通过包含Java,C++,或C#动作的语法描述来构造语言识别器，编译器和解释器。 算机语言的解释已经变成了一种非常普遍的工作。传统的计算机语言的编译器和工具（如C或Java）仍旧需要被构造，它们的数量与需要开发的那些成千上万的小语言的识别工具和解释工具相比是相形见拙。程序员为了解析数据格式，图形文