编译原理之词法分析器随笔和简单实现

借鉴: 编译原理之美. 极客时间上

什么是词法分析

编译原理：词法分析简单的来说就是在字符串中提取一系列的word单词. 编译器的眼里, 我们的一切输入都是什么? 都是一个一个的字符串. 所以编译器干的就是字符串解析工作.

词法分析：自然就是解析出来一个一个的单词的. word单词

如何做词法分析

首先：明确的第一点, 单词（词法记号）是存在类型的. 解析出来的单词是不同的类型, 我们后序将其标记为Token结构体：{text + type（代码中用的status）}两个字段. 一个是单词内容, 另外一个就是单词类型. 类型赋予不同的分类. 不同的状态。

思考一下: Parse("ab2 345 34.56 87. 3ab 45.0 098 4 6."); 这样一个字符串解析操作

先看词法分析规矩:

ab2 345 34.56 87. 3ab 45.0 098 4 6.

ab2 合法，是标识符类型. identifier.

345 合法, 是整数类型.

34.56 合法, 是实数类型

3ab 这种, 不合法, 是错误类型 (错误状态, 标记)

针对上述的这些不同的类型, 状态，一般都是用枚举类型来枚举一下不同的状态的

然后接下来：就是把握状态迁移的时机了. 状态是如何迁移的, 以及什么时候应该进行状态迁移, 这些都是我们需要关心的问题.

思考状态迁移的时机：当一个单词分析完成的时候。需要解析下一个单词了, 状态可能需要迁移. 相同状态就一直循环提取，直到这个单词提取完成，再从初始状态继续提取下一个单词.

INIT初始状态，就是为了做一个缓冲状态, 中间状态. 标记的新的单词提取的开始. 新的词法记号提取的开始.

画出来一个状态迁移的图:

其实上述这个规则，那是相当的简单, 随便一说，大家都能懂是啥意思，哎呀，就是说，按照一定的不同类型的数据的限制规则来提取出合法不合法的单词, 提取完全之后，单词只是一个字符串，不具备一个特殊的含义, 所以我们需要为其添加类型，让其区别含义. 于是我们就加上一个status状态字段, 或者说是Type类型字段也OK

接下来看代码

前置数据声明: tokens用来保存我们解析字符串过程中提取出来的诸多的token词法标记. STATUS标记的是当前单词的提取状态, 也可以说是类型。

#include <stdio.h>
#include <ctype.h>
#include <stdlib.h>
#include <assert.h>
#include <string.h>
#include <iostream>
#include <vector>
#include <string>using namespace std;//枚举状态
enum STATUS {INIT = 1,   //初始状态IDENTIFIER, //标识符状态, 小写字母开头 + 后序小写字母||下划线INTEGER,    //整数状态FLOAT,      //实数状态ERROR       //错误状态, 词法错误
};//Token：表示的是词法记号
struct Token {string text;STATUS status;
};vector<std::shared_ptr<Token>> tokens;//保存所有的词法记号

InitToken: 创建Token, 按照单词的首字母，确定单词的Type类型（STATUS状态）

//根据词法记号首个字符来初始化Token
Token* InitToken(char ch) {Token* token = new Token;assert(token != NULL);if ((isalpha(ch) && islower(ch)) || ch == '_') {//是小写字母开头||下划线token->status = IDENTIFIER;} else if (isdigit(ch) && ch != '0') {token->status = INTEGER;} else if (ch == '.') {token->status = FLOAT;} else {token->status = ERROR;}token->text = "";//初始化为空字符串token->text += ch;//加上初始字符串
}

然后就是Parse函数了, 用于解析字符串，初始化以及提取Token操作，时间紧张，没有做内存管理, 有心之人可以对内存资源加上智能指针, 培养习惯

首先: 提取每一个单词过程中，遇到空格, 表示这个单词提取完成，应该接着提取下一个单词, 所以修改一下当前状态status为INIT状态. 让其自动转换为INIT来完成新的Token的创建. 进入下一个新的单词的解析. 自动进入，核心关键在于自动进入。我们只是需要修改当前的status状态就能自动进入新的下一个单词状态的处理，所以这个玩也也叫做自动机。

在计算机网络的协议封装中，也存在这样类似的状态机。自动的进行状态转移. 连接建立状态, 数据交互状态，连接断开状态. 所以对于这个自动机（状态机的深入理解）是有一定必要的，所以我才写了这篇博客

void Parse(const string& s) {int i = 0;char ch = s[i];STATUS status = INIT;//枚举当前状态Token* token = nullptr;//记录tokenwhile (ch) {switch(status) {case INIT: {//初始化状态, 创建ch即可while (isspace(ch)) {ch = s[++i];//跳过多余的空格}token = InitToken(ch);status = token->status;//更新statusch = s[++i];//更新ch} break;case IDENTIFIER: {if ((isalpha(ch)&&islower(ch)) || (ch == '_') || isdigit(ch)) {token->text += ch;ch = s[++i];} else {if (ch == ' ') {status = INIT;//是新的单词tokens.push_back(shared_ptr<Token>(token));    } else {//词法错误token->status = ERROR;token->text += ch;ch = s[++i];}}} break;case INTEGER: {if (isdigit(ch)) {token->text += ch;ch = s[++i];//更新ch} else {//结束或者跳跃到实数if (ch == '.') {token->status = FLOAT;token->text += ch;ch = s[++i];//更新ch} else if (ch == ' ') {//是新的单词status = INIT;tokens.push_back(shared_ptr<Token>(token));    } else {//词法错误token->status = ERROR;token->text += ch;ch = s[++i];}}} break;case FLOAT: {if (isdigit(ch) && ch != '0') {token->text += ch;ch = s[++i];} else if (ch == ' ') {//是新的单词status = INIT;tokens.push_back(shared_ptr<Token>(token));    } else {//词法错误token->status = ERROR;token->text += ch;ch = s[++i];}} break;case ERROR: {if (ch == ' ') {//是新的单词status = INIT;tokens.push_back(shared_ptr<Token>(token));} else {token->text += ch;ch = s[++i];}} break;}}if (token != nullptr)tokens.push_back(shared_ptr<Token>(token));
}

感谢兄弟们的阅读，要是对某些开设这门课的兄弟有所帮助。希望来电收藏点赞，以资鼓励小杰创作，蟹蟹