基于统计的分词，采用隐马尔可夫模型，并有实验报告-Based on statistics segmentation using hidden Markov models, and there is experimental report

实现一个词法分析器，词法分析程序的主要任务是从左到右扫描每行源程序，拼成单词，换成统一的内部表示 (token)输出，送给语法分析器。具体包括： –组织源程序的输入； –按规则拼单词，并转换成二元形式； –滤掉空白符，跳过注释、换行符及一些无用的符号(如字符常数的引号) （实验一已完成）； –进行行列计数，用于指出出错的行列号，并复制出错部分； –列表打印源程序； –发现并定位词法错误； –生成符号表。token 文件和符号表用作语法分析的输入部分。

LFSR 反馈移位寄存器 密码学的实验相关-LFSR Cryptography