实现了token 的获取 实现了token 的获取 实现了token 的获取-tokentokentokentokentoken

基于C++的编译器词法分析模块生成器[Lex]，可使用Visual C++ 2003编译，分析词法定义文件件，产生确定自动机[DFA]和对应词法的分析代码，使用此代码可解析C++源码并生成TOKEN序列 -Lexical analysis module based on the C++ the compiler to generate device [Lex], can be compiled using the Visual C++ 2003, analysis of lexical d

词法分析器又称扫描器。词法分析是指将我们编写的文本代码流解析为一个一个的记号，分析得到的记号以供后续语法分析使用。词法分析器的工作是低级别的分析：将字符或者字符序列转化成记号。-Lexical analyzer, also known as scanners. Lexical analysis refers to the text of the code we write flow analysis for a token one, analyze the resulting syntax no