【说啥都队-喻诗媛个人总结】

说啥都队-喻诗媛个人总结

我是来自广西师范大学说啥都队伍的队员喻诗媛，从参赛开始至比赛结束我一直致力于SQL引擎中的查询解析部分的解读与赏析，即 parser 文件夹。比赛期间，围绕analyze.cpp、parser.cpp、parse_type.cpp等代码细节撰写了十余篇代码解读与赏析博客。

以下是我学习的一些总结

SQL基本形式

SQL语句基本可以分解成下面7大块：(5)SELECT (6)DISTINCT < select list >
(1)FROM < table source >
(2)WHERE < condition >
(3)GROUP BY < group by list >
(4)HAVING < having condition >
(7) ORDER BY < order by list >

(一)词法分析：字符串分割

(1)Token分类

注释。
关键字（SELECT、CREATE）。
操作符（+、-、>=）。
开闭合标志（(、CASE）。
占位符（?）。
空格。
引号包裹的文本、数字、字段。
方言语法（${variable}）。在词法分析阶段，我们的 Tokens 不需要关心关键词是什么，只要识别是不是关键词即可，只要切分即可。因此，在语法分析阶段，才辨别Token是什么关键词；涉及到语义处理时要考虑上下文。

(2)常见分词方法：正则表达式分词
争对不同方言或Tokens，会有不同的分词函数。因此整体流程如下：

while (sqlStr) {//这里的函数每取一次 Token，都将取到的 Token 按长度丢掉，继续匹配剩下的字符串，直到字符串被切分完为止token = getTokenWhitespace(sqlStr, token) | getTokenBlockComment(sqlStr, token);sqlStr = sqlStr.substring(token.value.length);tokens.push(token);
}/** 使用普通的 strcmp() 比较进行二分搜索。*/
low = keywords;
high = keywords + (num_keywords - 1);
while (low <= high) {    /* 二分搜索 */const ScanKeyword* middle = NULL;int difference;middle = low + (high - low) / 2;    /* 取关键词中值 */difference => strcmp(middle-name, word);if (difference == 0) {    /* 找到则返回 middle */return middle;} else if (difference < 0) {low = middle + 1;} else {high = middle - 1;}
}
return NULL;    /* 未找到则返回空值，说明该文本中不含关键词 */

(二)语法分析

分析器对词法分析器解析出来的单词(Token)序列在语法上是否满足SQL语法规则。
openGauss中定义了bison工具能够识别的语法文件gram.y，根据SQL语言的不同定义了一系列表达Statement的结构体（这些结构体通常以Stmt作为命名后缀），用来保存语法分析结果。以SELECT查询为例，它对应的Statement结构体如下。

typedef struct SelectStmt
{NodeTag        type;List      *distinctClause; /* NULL, list of DISTINCT ON exprs, or* lcons(NIL,NIL) for all (SELECT DISTINCT) */IntoClause *intoClause;      /* target for SELECT INTO */List       *targetList;     /* the target list (of ResTarget) */List       *fromClause;     /* the FROM clause */Node      *whereClause;    /* WHERE qualification */List      *groupClause;    /* GROUP BY clauses */Node     *havingClause;   /* HAVING conditional-expression */List    *windowClause;   /* WINDOW window_name AS (...), ... */WithClause *withClause;       /* WITH clause */List      *valuesLists;    /* untransformed list of expression lists */List       *sortClause;     /* sort clause (a list of SortBy's) */Node    *limitOffset;    /* # of result tuples to skip */Node       *limitCount;     /* # of result tuples to return */……
} SelectStmt;

(三)语义分析

在完成词法分析和语法分析后，parse_Ana lyze函数会根据语法树的类型，调用transformSelectStmt将parseTree改写为查询树。负责语义分析的是位于 analyze.cpp 下的 parse_analyze 函数。parse_analyze 会根据词法分析和语法分析得到的语法树，生成一个 ParseState 结构体用于记录语义分析的状态。ParseState 顾名思义-解析状态，保存了语义分析的状态信息，ParseState 结构体的具体定义如下：

struct ParseState {struct ParseState* parentParseState; /* 指向外层查询 */ const char* p_sourcetext; /* 原始SQL命令 */List* p_rtable; /* 范围表 */List* p_joinexprs;  /* 连接表达式 */List* p_joinlist;  /* 连接项 */List* p_relnamespace; /* 表名集合 */List* p_varnamespace; /* 属性名集合 */bool  p_lateral_active;List* p_ctenamespace; /* 公共表达式名集合 */List* p_future_ctes; /* 不在p_ctenamespace中的公共表达式 */CommonTableExpr* p_parent_cte;List* p_windowdefs; /* WINDOW子句的原始定义 */int p_next_resno; /* 下一个分配给目标属性的资源号 */List* p_locking_clause; /* 原始的FOR UPDATE/FOR SHARE信息 */Node* p_value_substitute;bool p_hasAggs; /* 是否有聚集函数 */bool p_hasWindowFuncs; /* 是否有窗口函数 */bool p_hasSubLinks; /* 是否有子链接 */bool p_hasModifyingCTE; bool p_is_insert; /* 是否为INSERT语句 */bool p_locked_from_parent;bool p_resolve_unknowns;bool p_hasSynonyms;Relation p_target_relation; /* 目标表 */RangeTblEntry* p_target_rangetblentry; /* 目标表在RangeTable对应的项 */......
};

个人心得

此次比赛是我的一次难忘经历，极大地提升了我的学习分析能力。万事开头难，最开始比赛有点难以下手，不过经过调整静下心来阅读和学习，终于有所收获。收获很多，开心就行